[論文レビュー] Joint Embedding of Words and Labels for Text Classification

Guoyin Wang, Chunyuan Li+6 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 34被引用数 45

ひとこと要約

LEAM は語とラベルを共有空間に埋め込み、ラベル-語の適合性を使ってテキスト分類の注目と語の埋め込みの重み付けを行い、低い複雑さで高い精度を達成する。

ABSTRACT

Word embeddings are effective intermediate representations for capturing semantic regularities between words, when learning the representations of text sequences. We propose to view text classification as a label-word joint embedding problem: each label is embedded in the same space with the word vectors. We introduce an attention framework that measures the compatibility of embeddings between text sequences and labels. The attention is learned on a training set of labeled samples to ensure that, given a text sequence, the relevant words are weighted higher than the irrelevant ones. Our method maintains the interpretability of word embeddings, and enjoys a built-in ability to leverage alternative sources of information, in addition to input text sequences. Extensive results on the several large text datasets show that the proposed framework outperforms the state-of-the-art methods by a large margin, in terms of both accuracy and speed.

研究の動機と目的

• ラベル情報が最終分類器だけでなく、初期のテキスト表現にも影響を与えるべき理由を動機づける。
• ラベル認識可能で解釈可能なテキスト表現を生み出す、語とラベルを共同埋め込みするフレームワークを提案する。
• 分類のために語を重み付けする注意機構を、語とラベルの適合性に基づいて開発する。
• ラベル埋め込みが複数のデータセットにわたり計算効率が高く正確なテキスト分類を提供することを示す。
• 多ラベル医療コード予測と注意語の解釈性を通じた潜在的な臨床適用性を示す。

提案手法

• 単語とクラスラベルの両方を共有潜在空間に埋め込む。
• コサイン類似度とフレーズ窓を用いた非線形・局所的な注意機構により、語-ラベル適合性 G を計算する。
• アテンションスコアを用いた語埋め込みの加重平均としてテキスト表現 z を構築する（フレーズ上で SoftMax）。
• 単一ラベルにはクロスエントロピー、マルチラベルにはシグモイド基盤の標準的な分類損失でエンドツーエンドに訓練し、ラベル埋め込みをそれらのクラス多様体上に配置する正則化項を加える。
• 実際のクラス説明と整合するようにラベル埋め込みを正則化し、解釈性と意味のあるアンカーを有効にする。
• 任意で語埋め込みを事前学習済みベクトル（例: GloVe）で初期化し、ラベル埋め込みを同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 ラベル情報で語表現を導くことにより、語埋め込みを共同で作成することはテキスト分類を改善するか？
• RQ2 提案されたラベル埋め込みアテンションモデル LEAM は、深層アテンションアーキテクチャと比較して競争力のある精度と低い計算コストを達成するか？
• RQ3 ラベル埋め込みは予測に有益な語を際立たせる解釈可能なアテンションを提供するか？
• RQ4 LEAM は標準ベンチマークデータセットと実世界の医療コード予測タスクでどの程度性能を示すか？

主な発見

Yahoo	DBPedia	AGNews	Yelp P.	Yelp F.
77.42	99.02	92.45	95.31	64.09
75.22	98.32	91.75	93.43	61.03
69.98	98.15	89.13	94.46	58.59
70.94	98.28	91.45	95.11	59.48
70.84	98.55	86.06	94.74	58.17
73.43	98.71	91.27	95.72	64.26
73.53	98.42	92.24	93.76	61.11
76.28	98.77	93.32	94.56	62.13

• LEAM は benchmark 文書分類データセットでいくつかの最先端ベースラインを上回り、Yahoo と DBPedia でトップの結果を達成する。
• LEAM はモデルサイズと速度が有利で、いくつかのベースラインより速い収束とCNN/LSTMモデルよりパラメータ数が少ない。
• 非線形で空間的に意識されたアテンション（フレーズベース）は高性能のために必要で、線形バリアントを上回る。
• ラベル埋め込みは意味があり、クラス中心とよく相関し、タスクに関連するキーワードを強調する解釈可能なアテンションを可能にする。
• マルチラベル臨床テキストでは、LEAM が最良の AUC と競争力のある F1/P@5 指標を達成し、アテンションの可視化が健康関連語を強調する。
• LEAM のアテンションは、情報量の多い語をより顕著にすることで臨床医の読解負担を軽減できる。