[論文レビュー] SGM: Sequence Generation Model for Multi-label Classification

Pengcheng Yang, Xu Sun+4 more|arXiv (Cornell University)|Jun 13, 2018

Text and Document Classification Technologies参考文献 20被引用数 54

ひとこと要約

SGM はマルチラベル分類をシーケンス生成として扱い、エンコーダ-デコーダと注意機構、およびラベル間の相関とテキスト内容寄与を捉える新規グローバル埋め込みデコーダを用い、RCV1-V2とAAPDデータセットで最先端の結果を達成します。

ABSTRACT

Multi-label classification is an important yet challenging task in natural language processing. It is more complex than single-label classification in that the labels tend to be correlated. Existing methods tend to ignore the correlations between labels. Besides, different parts of the text can contribute differently for predicting different labels, which is not considered by existing models. In this paper, we propose to view the multi-label classification task as a sequence generation problem, and apply a sequence generation model with a novel decoder structure to solve it. Extensive experimental results show that our proposed methods outperform previous work by a substantial margin. Further analysis of experimental results demonstrates that the proposed methods not only capture the correlations between labels, but also select the most informative words automatically when predicting different labels.

研究の動機と目的

• MLC におけるラベル間の相関に対処する動機づけとして、タスクをシーケンス生成としてモデリングする。
• アテンションと新規デコーダを備えた Seq2Seq ベースのモデルを提案し、ラベル依存関係と内容寄与を捉える。
• グローバル埋め込みを導入することで、標準の seq2seq およびベースラインより性能が向上することを示す。
• 大規模な MLC テキストデータセットでの有効性を示し、設計選択（マスキング、ソーティング、グローバル埋め込み）の影響を分析する。

提案手法

• MLC タスクを、注意機構を備えた LSTM ベースのデコーダでラベルの列を予測することとして、ラベル間の相関を捉える。
• 入力テキストを双方向 LSTM でエンコードし、各デコードステップでアテンションを介して文脈ベクターを計算する。
• 繰り返しを避けるためマスク付きソフトマックスを用いて、前のラベル予測と文脈を条件に次のラベルを予測する。
• 上位予測ラベルの埋め込みと全ラベル埋め込みの加重平均を結合し、変換ゲート H によって調整された、グローバル埋め込み g(y_{t-1}) を導入する。
• 推論時にビームサーチを用いて高確率のラベル列を探索する。
• 交差エントロピー損失で学習し、ドロップアウト、Adam 最適化、データセットごとに調整されたハイパーパラメータを用いる。

実験結果

リサーチクエスチョン

• RQ1 逐次的なラベル生成はマルチラベル分類における高次のラベル相関をどのように捉えることができるか。
• RQ2 テキスト上のアテンション機構を組み込むことで、異なるラベルに対して異なる語の寄与をモデルが割り当てられるか。
• RQ3 すべての可能なラベルを活用するグローバル埋め込みは、初期の誤予測に対する頑健性を改善できるか。
• RQ4 提案されたアーキテクチャの選択は、大規模なラベル集合と大規模データセットに拡張可能か。
• RQ5 マスキングとラベル順序戦略が性能に与える影響は何か。

主な発見

モデル	HL(-)	P(+ )	R(+)	F1(+)
BR	0.0086	0.904	0.816	0.858
CC	0.0087	0.887	0.828	0.857
LP	0.0087	0.896	0.824	0.858
CNN	0.0089	0.922	0.798	0.855
CNN-RNN	0.0085	0.889	0.825	0.856
SGM	0.0081	0.887	0.850	0.869
SGM + GE	0.0075	0.897	0.860	0.878
BR	0.0316	0.644	0.648	0.646
CC	0.0306	0.657	0.651	0.654
LP	0.0312	0.662	0.608	0.634
CNN	0.0256	0.849	0.545	0.664
CNN-RNN	0.0278	0.718	0.618	0.664
SGM	0.0251	0.746	0.659	0.699
SGM + GE	0.0245	0.748	0.675	0.710

• SGM は両データセットで従来のベースライン（BR、CC、LP）および CNN/CNN-RNN モデルを上回る。
• グローバル埋め込みの使用（SGM+GE）は、マイクロF1をさらに向上させ、データセットを横断してハミング損失を低減する。
• RCV1-V2 では、SGM+GE が F1+ = 0.878、hamming loss = 0.0075 を達成し、ベースラインを上回る；GE がなくても SGM は依然としてベースラインを凌駕する。
• AAPD では、SGM+GE が F1+ = 0.710、hamming loss = 0.0245 を示し、再びベースラインを上回る。
• 分析は、グローバル埋め込みがすべての可能なラベル信号を取り入れることで情報を豊かにし、露出バイアス下での予測を助けることを示す。
• アテンションの可視化は、ラベルごとに異なる情報量のある語にモデルが焦点を合わせることを示す（例：CV 対 CL）。