[論文レビュー] Pretrained Generalized Autoregressive Model with Adaptive Probabilistic Label Clusters for Extreme Multi-label Text Classification

Hui Ye, Zhiyu Chen+2 more|arXiv (Cornell University)|Jul 5, 2020

Text and Document Classification Technologies参考文献 39被引用数 16

ひとこと要約

本稿では、極端に多数のラベルを扱うテキスト分類のための新しい深層学習フレームワーク、APLC-XLNetを提案する。この手法は、XLNetの事前学習済み言語モデルを微調整してテキスト表現を向上させるとともに、不均衡なラベル分布を効率的に処理するためのアダプティブ確率的ラベルクラスタ（APLC）を導入する。この手法は、5つのベンチマークデータセットのうち4つで最先端性能を達成し、特にEURLex-4kではP@3およびP@5で最大10%の向上を達成した。

ABSTRACT

Extreme multi-label text classification (XMTC) is a task for tagging a given text with the most relevant labels from an extremely large label set. We propose a novel deep learning method called APLC-XLNet. Our approach fine-tunes the recently released generalized autoregressive pretrained model (XLNet) to learn a dense representation for the input text. We propose Adaptive Probabilistic Label Clusters (APLC) to approximate the cross entropy loss by exploiting the unbalanced label distribution to form clusters that explicitly reduce the computational time. Our experiments, carried out on five benchmark datasets, show that our approach has achieved new state-of-the-art results on four benchmark datasets. Our source code is available publicly at https://github.com/huiyegit/APLC_XLNet.

研究の動機と目的

• 膨大なラベル集合を有する極端に多数のラベルを扱うテキスト分類（XMTC）における効果的で文脈に依存するテキスト表現の学習という課題に対処する。
• ラベル分布のスパarsityを活用することで、極めて大きなラベル集合を用いた学習の計算非効率性を克服する。
• 予測精度を損なわず、トレーニング時間と推論時間を短縮する柔軟でスケーラブルな出力層メカニズムを構築する。
• 事前学習言語モデルと構造化されたラベルクラスタリングを組み合わせることで、XMTCタスクにおける有効性を実証する。

提案手法

• 入力テキストシーケンスの深く文脈に依存する表現を学ぶために、一般化された自己回帰的事前学習モデルであるXLNetを微調整する。
• ラベルの頻度と共起パターンに基づいてラベルをグループ化する階層的クラスタリング戦略、アダプティブ確率的ラベルクラスタ（APLC）を導入する。
• APLCを用いて出力層をヘッドクラスタ（高頻度ラベル）とテールクラスタ（低頻度ラベル）に分割することで、交差エントロピー損失の近似を実現し、計算量を削減する。
• 2段階の予測を適用する：まずヘッドクラスタを予測し、次に選択されたクラスタ内で条件付き確率モデルを用いて予測を精緻化する。
• クラスタ割り当てプロセスをバックプロパゲーションで端末から端末まで訓練可能にする微分可能クラスタリングメカニズムを採用する。
• クラスタ数やラベル分布の割合といった調整可能なパrameterを設定することで、精度と計算コストのバランスを取れるようにAPLCを構成する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルXLNetの微調整により、従来のモデルと比較して極端に多数のラベルを扱うテキスト分類の性能が顕著に向上するか？
• RQ2 不均衡なラベル分布において、計算コストを削減しつつ予測精度を維持または向上させるためにAPLC機構はどの程度効果的か？
• RQ3 クラスタ数やクラスタ内でのラベル分布の影響が、多様なXMTCデータセットにおけるモデル性能に与える影響は何か？
• RQ4 APLCは、テキスト分類を超えた他の極端な分類タスクの効率的な出力層として一般化可能か？

主な発見

• APLC-XLNetは、5つのベンチマークデータセットのうち4つで新たな最先端性能を達成し、特にEURLex-4kでは、前回の最先端手法AnnexMLと比較してP@3およびP@5で10%の向上を達成した。
• EURLex-4k、AmazonCat-13k、Wiki10-31kの3つのデータセットにおいて、DisMEC や AttentionXML といった強力なベースラインを上回り、トップ-k精度において一貫した向上を示した。
• EURLex-4kでは、2つのクラスタでのP@1が87.72に達したが、クラスタ数を6に増加させると2%低下した。これは、クラスタが多すぎると性能が劣化することを示している。
• アブレーションスタディの結果、ヘッドクラスタにより多くのラベルを割り当てること（例：70%）が、特にEURLexのような極めて不均衡なラベル分布を持つデータセットにおいてP@1の向上に顕著に寄与した。
• クラスタ数が増加しても、モデルは高い性能を維持しており、ハイパーパrameterチューニングにおける頑健性と柔軟性を示している。
• 構造化されたラベルクラスタリングにより計算コストを削減しながらも高い精度を維持しているため、大規模なラベル集合を有する実世界の応用に適している。