[論文レビュー] Label-aware Document Representation via Hybrid Attention for Extreme Multi-Label Text Classification

Xin Huang, Boli Chen+2 more|arXiv (Cornell University)|May 24, 2019

Text and Document Classification Technologies参考文献 32被引用数 10

ひとこと要約

本稿では、共有潜在空間内で文書コンテンツとラベル構造を同時にモデル化することにより、ラベルに依存する文書表現を学習するハイブリッドアテンション深層ニューラルネットワーク、LAHAを提案する。単語上の自己アテンションとラベルとの間の相互作用アテンションを統合することで、特に末端ラベル（低リソースラベル）において最先端の性能を達成し、5つのベンチマークデータセットにおいてnDCG@5およびP@3の指標で顕著な向上を示した。

ABSTRACT

Extreme multi-label text classification (XMTC) aims at tagging a document with most relevant labels from an extremely large-scale label set. It is a challenging problem especially for the tail labels because there are only few training documents to build classifier. This paper is motivated to better explore the semantic relationship between each document and extreme labels by taking advantage of both document content and label correlation. Our objective is to establish an explicit label-aware representation for each document with a hybrid attention deep neural network model(LAHA). LAHA consists of three parts. The first part adopts a multi-label self-attention mechanism to detect the contribution of each word to labels. The second part exploits the label structure and document content to determine the semantic connection between words and labels in a same latent space. An adaptive fusion strategy is designed in the third part to obtain the final label-aware document representation so that the essence of previous two parts can be sufficiently integrated. Extensive experiments have been conducted on six benchmark datasets by comparing with the state-of-the-art methods. The results show the superiority of our proposed LAHA method, especially on the tail labels.

研究の動機と目的

• 極めて多数のラベルを含むテキスト分類（XMTC）の課題、特に訓練例が少ない低リソースの末端ラベルに対する挑戦に取り組む。
• 文書の内容とラベルの構造の両方を活用して、単語とラベル間の意味的関係を明示的にモデル化することで、文書表現を向上させる。
• 文書レベルとラベルレベルの表現を統合する包括的なフレームワークを設計し、分類性能を向上させる。
• 従来のアテンションベースのモデルが文書コンテンツにのみ注目するか、ラベル相関を無視するという限界を克服する。

提案手法

• すべてのラベルにわたる単語の重要度スコアを計算するため、自己アテンションを備えた双方向LSTMを用いる。これにより、ラベル固有の単語寄与度を捉える。
• ラベル共起構造を用いて、ラベルと単語の埋め込みを共有潜在空間で学習し、ラベルの階層構造と相関関係を保持する。
• 共有空間内で単語とラベルの意味的整合性を明示的に計算するため、相互作用アテンション機構を適用する。
• 自己アテンションと相互作用アテンションのコンポonentからの情報を適応的に統合するためのファージョン戦略を用い、最終的なラベルに依存する文書表現を生成する。
• すべてのラベルにおけるラベル予測を最適化するため、交差エントロピー損失を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 文書コンテンツとラベル構造を同時にモデル化することで、極めて多数のラベルを含むテキスト分類における表現学習が向上するか？
• RQ2 潜在空間を介してラベル構造を組み込むことで、低リソースの末端ラベルにおける性能がどのように向上するか？
• RQ3 自己アテンションと相互作用アテンションを統合したハイブリッドアテンション機構は、単一のアテンション機構に依存するモデルを上回るか？
• RQ4 ラベルに依存する表現は、ベンチマークデータセットにおけるP@τおよびnDCG@τといった分類指標にどの程度向上効果をもたらすか？

主な発見

• LAHAは5つのベンチマークデータセットにおいて最も優れた全体的性能を達成し、全指標で20回の比較のうち19回が勝利（最多勝利数）を記録した。
• AAPDデータセットでは、P@1が84.48%、P@3が60.72%、nDCG@5が83.70%を達成し、2番目に良い手法（AttentionXML）をP@1で1.46%、nDCG@5で2.98%上回った。
• Amazon-12Kデータセットでは、P@1が94.87%、nDCG@3が89.13%を達成し、SLEEC（93.49% P@1）およびAttentionXML（93.75% P@1）を顕著に上回った。
• LAHAは特に末端ラベルにおいて最も顕著な改善を示し、Wiki-30KデータセットではAttentionXMLと比較してP@5で最大3.5%の向上を記録した。
• 本モデルの性能は、訓練例が少ないデータセット（例：EUR-LexおよびWiki-30K）において特に優れており、深層学習モデルが通常は性能を発揮しないデータスパarsity環境でも頑健であることが示唆された。