[論文レビュー] Label-guided Learning for Text Classification

Xien Liu, Song Wang+4 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 16被引用数 8

ひとこと要約

この論文では、ラベル誘導符号化層を通じて局所的文脈情報とグローバルなラベルの手がかりを同時に学習する、LguidedLearnと呼ばれるラベル誘導型学習フレームワークを提案する。注意メカニズムを用いた符号化により、普遍的なテキスト埋め込みをラベル固有の空間にマッピングすることで、より判別性の高い表現を達成し、BiLSTM や LEAM といった強力なベースラインを上回る性能を示した。複数のベンチマークデータセットで、R52 では最大 4.5%、Ohsumed では最大 8.8% の向上を達成した。

ABSTRACT

Text classification is one of the most important and fundamental tasks in natural language processing. Performance of this task mainly dependents on text representation learning. Currently, most existing learning frameworks mainly focus on encoding local contextual information between words. These methods always neglect to exploit global clues, such as label information, for encoding text information. In this study, we propose a label-guided learning framework LguidedLearn for text representation and classification. Our method is novel but simple that we only insert a label-guided encoding layer into the commonly used text representation learning schemas. That label-guided layer performs label-based attentive encoding to map the universal text embedding (encoded by a contextual information learner) into different label spaces, resulting in label-wise embeddings. In our proposed framework, the label-guided layer can be easily and directly applied with a contextual encoding method to perform jointly learning. Text information is encoded based on both the local contextual information and the global label clues. Therefore, the obtained text embeddings are more robust and discriminative for text classification. Extensive experiments are conducted on benchmark datasets to illustrate the effectiveness of our proposed method.

研究の動機と目的

• 表現学習中にグローバルなラベル情報を見過ごすという、既存のテキスト分類モデルの限界を是正すること。
• 符号化プロセスにラベルの手がかりを統合することで、テキスト表現のロバスト性と判別性を向上させること。
• 任意の文脈符号化モデルと簡単に組み合わせられる、シンプルだが効果的なフレームワークを開発すること。
• 文脈情報とラベルに依存する表現を同時に学習することで、優れた分類性能が得られることを示すこと。

提案手法

• 文脈エンコーダーから得られる普遍的テキスト埋め込みに対して、ラベルベースの注意メカニズムによる符号化を実行するラベル誘導符号化層を導入する。
• 各ラベルは学習可能な埋め込み行列として表現され、モデルが入力テキストを複数のラベル固有の埋め込み空間にマッピングできるようにする。
• 文脈符号化（例：BiLSTM や BERT）とラベル誘導符号化を、エンドツーエンドでトレーニング可能な形で統合する。
• ラベル誘導層は、クエリ・キー・ドット積注意メカニズムを用いて、語の単位をラベル表現に一致させ、ラベルごとの埋め込みを生成する。
• この手法はモジュール型であり、BiLSTM や BERT を含むさまざまな事前学習済み文脈符号化モデルと互換性を持つ。
• 標準的なバックプロパゲーションを用いて、文脈的一致性とラベルに依存する表現の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル情報をグローバルな手がかりとして統合することで、分類のためのテキスト表現学習が改善されるか？
• RQ2 従来の文脈符号化のみと比較して、ラベル誘導符号化は分類精度においてどのように差をつけるか？
• RQ3 文脈的特徴とラベルに依存する特徴を同時に学習することで、よりロバストで判別性の高い埋め込みが得られるか？
• RQ4 1ラベルあたりの埋め込み数がモデル性能に与える影響は何か？
• RQ5 BERT などの現代的な事前学習モデルと組み合わせて、ラベル誘導層を効果的に適用できるか？

主な発見

• R52 データセットでは LguidedLearn が 96.12% の精度を達成し、ベースラインの BiLSTM（90.54%）や LEAM（91.84%）を大きく上回った。
• Ohsumed データセットでは、LguidedLearn はベースラインの BiLSTM（49.27% 対 69.89%）に対して 10.56 パcentage ポints の精度向上を達成した。
• 1ラベルあたり 1 つの埋め込みではなく 5 つの埋め込みを使用することで、20NG で 1.57% の向上（85.58% 対 84.01%）が得られ、ラベル埋め込み空間のモデリングの有効性が示された。
• BERT に適用した場合、ラベル誘導層により 20NG での性能が 67.90%（BERT）から 78.87% に向上し、強力な事前学習モデルとも高い互換性と有効性を示した。
• 1ラベルあたり 1 つの埋め込み（LguidedLearn-1）であっても、すべてのデータセットで LEAM を上回ったことから、提案されたフレームワーク設計の優位性が裏付けられた。
• 予備実験では、実世界の応用データを含む多様なデータセットにおいて、ラベル誘導層が一貫した向上をもたらすことが示された。