[論文レビュー] HAXMLNet: Hierarchical Attention Network for Extreme Multi-Label Text Classification

Ronghui You, Zihan Zhang+2 more|arXiv (Cornell University)|Mar 24, 2019

Text and Document Classification Technologies参考文献 8被引用数 7

ひとこと要約

HAXMLNetは、数百数千のラベルを有するデータセットにおける効率的な学習および推論を可能にするため、確率的ラベル木（PLT）を活用した階層的アテンションネットワークを提案する。グループレベルおよびラベルレベルの分類器においてラベルごとのアテンションを適用することで、HAXMLNetはWiki-500KおよびAmazon-670Kの最先端手法を上回る競争力ある性能を達成した。

ABSTRACT

Extreme multi-label text classification (XMTC) addresses the problem of tagging each text with the most relevant labels from an extreme-scale label set. Traditional methods use bag-of-words (BOW) representations without context information as their features. The state-ot-the-art deep learning-based method, AttentionXML, which uses a recurrent neural network (RNN) and the multi-label attention, can hardly deal with extreme-scale (hundreds of thousands labels) problem. To address this, we propose our HAXMLNet, which uses an efficient and effective hierarchical structure with the multi-label attention. Experimental results show that HAXMLNet reaches a competitive performance with other state-of-the-art methods.

研究の動機と目的

• 数百数千のラベルを有する極端な多ラベルテキスト分類（XMTC）において、AttentionXMLなどの既存のディープラーニング手法のスケーラビリティの限界を克服すること。
• ラベルごとのアテンションによる文脈および長期依存のモデリングを維持しつつ、学習および推論における計算複雑性とモデルサイズを低減すること。
• 確率的ラベル木（PLT）に基づく階層的構造を導入することで、極端にスケールしたラベル集合の効率的処理を可能にすること。
• ラベルスパarsityおよび高次元性にかかわらず、Amazon-670K や Wiki-500K などのベンチマークデータセットで競争力ある性能を維持すること。
• グループレベルモデルの計算コストが依然として高い場合に、反復的に適用可能な再帰的フレームワークを提供すること。

提案手法

• HAXMLNetは、トップダウン方式のk-meansクラスタリングを用いて、バランスの取れたグループサイズを確保する3段階の階層的確率的ラベル木（PLT）を構築する。
• グループレベル分類器（HAXMLNet-G）は、グループラベルのみをターゲットとして学習し、ラベル空間を |L|/g に縮小する（g はグループ数）。
• ラベルレベル分類器（HAXMLNet-L）は、候補ラベル（正例のラベルと一部の負例ラベル）を用いて学習し、1サンプルあたりの候補数を1,000に制限することで複雑性を制御する。
• 予測時、各ラベル j の最終スコアは、G(j) のグループレベルスコアと j のラベルレベルスコアの積として、確率の連鎖律を用いて計算される。
• ラベルごとのアテンションを採用し、アテンションパラメータ w_j を用いて、文脈表現 h_i に対するソフトマックスによりアテンション重み α_ij を計算し、各ラベルに対する関連するテキスト部分に注目する。
• HAXMLNet-L の訓練損失は、PLT 構造から導かれる条件付き確率に基づく、候補ラベルに対するバイナリクロスエントロピー損失である。

実験結果

リサーチクエスチョン

• RQ1 50万ラベルを超える極端な多ラベルテキスト分類に適用する際、階層的アテンション機構はディープラーニングモデルのスケーリングを効果的に可能にするか？
• RQ2 確率的ラベル木（PLT）の使用は、XMTCにおける計算複雑性を低減しつつ予測性能を維持できるか？
• RQ3 階層的構造内でのラベルごとのアテンションは、フラットアテンション機構と比較して、極端にスケールしたデータセット上でどの程度性能を向上させるか？
• RQ4 グループレベルモデルが依然として大きすぎる場合、階層的フレームワークの再帰的適用により、さらにモデル複雑性を低減できるか？
• RQ5 標準的なXMTCベンチマークにおいて、HAXMLNetはParabel や DiSMEC といった最先端手法と比較してどの程度の性能を示すか？

主な発見

• Wiki-500K データセットでは、HAXMLNetは比較されたすべての手法の中で最高の性能を示し、Precision@1 70.44%、nDCG@5 60.80% を達成した。
• Amazon-670K では、Precision@1 41.09%、nDCG@5 36.64% を達成し、PfastreXML や AnnexML を上回り、高ラベルスパarsityにもかかわらず競争力ある性能を示した。
• HAXMLNet は、3本の木を用いたParabel をも上回り、1本の階層的木のみでこれを達成した。これは、より優れた効率性と有効性を示している。
• HAXMLNet の候補ラベルのプルーニング（c=1000）は、性能の著しい低下を伴わずに計算コストを効果的に制御した。
• 階層的設計により、モデル規模と学習複雑性が低減され、GPUメモリ制限のあるシステムへのデプロイが可能になった。
• グループレベルモデルが依然として直接学習に適さない場合、フレームワークの再帰的適用によりさらなるスケーラビリティが実現可能である。