[論文レビュー] AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification

Ronghui You, Zihan Zhang+4 more|arXiv (Cornell University)|Nov 1, 2018

Text and Document Classification Technologies被引用数 93

ひとこと要約

AttentionXML は XMTC を扱うためのラベルツリーベースの深層モデルとマルチラベル注意機構を導入し、特に尾部ラベルで最先端の結果を達成します。

ABSTRACT

Extreme multi-label text classification (XMTC) is an important problem in the era of big data, for tagging a given text with the most relevant multiple labels from an extremely large-scale label set. XMTC can be found in many applications, such as item categorization, web page tagging, and news annotation. Traditionally most methods used bag-of-words (BOW) as inputs, ignoring word context as well as deep semantic information. Recent attempts to overcome the problems of BOW by deep learning still suffer from 1) failing to capture the important subtext for each label and 2) lack of scalability against the huge number of labels. We propose a new label tree-based deep learning model for XMTC, called AttentionXML, with two unique features: 1) a multi-label attention mechanism with raw text as input, which allows to capture the most relevant part of text to each label; and 2) a shallow and wide probabilistic label tree (PLT), which allows to handle millions of labels, especially for "tail labels". We empirically compared the performance of AttentionXML with those of eight state-of-the-art methods over six benchmark datasets, including Amazon-3M with around 3 million labels. AttentionXML outperformed all competing methods under all experimental settings. Experimental results also show that AttentionXML achieved the best performance against tail labels among label tree-based methods. The code and datasets are available at http://github.com/yourh/AttentionXML .

研究の動機と目的

• XMTC を非常に大きなラベル集合のタグ付けとして動機づけ、文脈、スケーラビリティ、尾ラベルの性能といった課題に対処する。
• 生テキストを用いたラベルごとの注意機構を利用して、ラベルごとに表現を調整するラベルツリーに基づく深層モデルを提案する。
• 数百〜百万規模のラベルに対する学習と推論を可能にする浅く広い確率的ラベルツリー（PLT）を導入する。
• 生テキストと PLT に対する注意機構の組み合わせが、複数のデータセットにおいて、特に尾ラベルで、ベースラインを上回る性能を示すことを実証する。

提案手法

• ラベルの初期階層的分割を圧縮して木の高さを低くし、ラベル分布を均一化する浅く広い確率的ラベルツリー（PLT）を構築する。
• 生テキストからラベル固有のテキスト表現を生成するために、ラベルごとのマルチラベル注意機構を備えた BiLSTM ベースのニューラルエンコーダを用いる。
• 候補ラベルに応じたサンプリングを用いて、各 PLT レベルの AttentionXML モデルをレベル別に学習させる。
• ビーム探索を用いて PLT を通過させ、経路に沿った確率連鎖ルールによりラベルスコアを計算して予測する。
• パラメータをラベル間で共有する全結合層と出力層を用いることで、モデルサイズを削減し一般化を向上させる。
• 深いレベルのモデルは、浅いレベルのパラメータから初期化して収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 ラベルツリーベースのアプローチと生テキスト上の深い注意機構は、極端なスケールで既存の XMTC 手法を上回ることができるか。
• RQ2 浅く広い PLT は尾ラベルの劣化を緩和し、尾ラベルの精度を改善するか。
• RQ3 ラベルごとのマルチラベル注意は、単一の共有表現と比較して性能にどのように影響するか。
• RQ4 極端に大規模なラベル集合に対するアンサンブル PLT の精度と効率への影響はどの程度か。

主な発見

• AttentionXML は、6 つの XMTC ベンチマーク（Amazon-3M を含む約300万のラベル）で、8つの最先端ベースラインを上回った。
• AttentionXML-1（単一 PLT）は既に長いテキストを含むデータセットで強力な改善を達成しており、アンサンブル PLT は精度をさらに向上させた。
• BiLSTM とマルチラベル注意の組み合わせは、XML-CNN および BiLSTM ベースラインに対して、特に長いテキストで性能を大幅に向上させた。
• 浅く広い PLT は、極端規模のデータセットでの学習と推論をスケーラブルに実行でき、競争力のあるまたはそれを上回る精度を維持する。
• AttentionXML は、ラベルツリー手法の尾ラベル性能において優れており、PSP@k 分析によって示された。