[論文レビュー] Taming Pretrained Transformers for Extreme Multi-label Text Classification

Wei-Cheng Chang, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|May 7, 2019

Text and Document Classification Technologies参考文献 49被引用数 14

ひとこと要約

本稿では、極めて多数のラベルを有する多ラベルテキスト分類（XMC）における深層事前学習Transformerモデルの微調整をスケーラブルに可能にするX-Transformerを提案する。大規模な出力空間とラベルの疎らさという課題に対処するため、意味的ラベルクラスタリング、教師強制ネガティブ、アンサンブルランクの手法を採用する。最先端の性能を達成し、50万ラベルを有するWiki-500Kでは1ラベル精度が77.28%に達し、実世界のAmazon製品2クエリデータセットにおいてParabelより相対的に10.7%の向上を示した。

ABSTRACT

We consider the extreme multi-label text classification (XMC) problem: given an input text, return the most relevant labels from a large label collection. For example, the input text could be a product description on Amazon.com and the labels could be product categories. XMC is an important yet challenging problem in the NLP community. Recently, deep pretrained transformer models have achieved state-of-the-art performance on many NLP tasks including sentence classification, albeit with small label sets. However, naively applying deep transformer models to the XMC problem leads to sub-optimal performance due to the large output space and the label sparsity issue. In this paper, we propose X-Transformer, the first scalable approach to fine-tuning deep transformer models for the XMC problem. The proposed method achieves new state-of-the-art results on four XMC benchmark datasets. In particular, on a Wiki dataset with around 0.5 million labels, the prec@1 of X-Transformer is 77.28%, a substantial improvement over state-of-the-art XMC approaches Parabel (linear) and AttentionXML (neural), which achieve 68.70% and 76.95% precision@1, respectively. We further apply X-Transformer to a product2query dataset from Amazon and gained 10.7% relative improvement on prec@1 over Parabel.

研究の動機と目的

• 出力空間が極めて大きく、ラベルが著しく疎らである極めて多数のラベルを有する多ラベルテキスト分類（XMC）における、深層事前学習Transformerモデルの微調整の課題を解決すること。
• 数百万ラベルを有するXMCにおいて、巨大な分類器層が原因で発生するGPUメモリオーバーフローなどの計算上のボトル neck を克服すること。
• 意味的表現を用いたラベルクラスタリングにより、長尾ラベル分布に起因するラベルの疎らさを軽減すること。
• トレーニング中に過去のモデル予測から得られるハードネガティブ例を組み込むことで、モデルの一般化性能を向上させること。
• ベンチマークXMCデータセットおよび実世界の産業応用において、最先端の性能を達成すること。

提案手法

• X-Transformerは2段階のトレーニングパイプラインを導入する。まず、ラベルの意味的表現（例：ラベルテキスト埋め込みやTF-IDF）を用いてラベルをクラスタリングし、有効なラベル空間を縮小する。
• 教師強制ネガティブ（TFN）を用いた対照的学習戦略を採用し、モデル自身の予測から得られるハードネガティブ例を活用することでランクイング性能を向上させる。
• 複数のヘッドアテンションに基づくランカーを導入し、クラスタ化されたラベル表現と同時に学習させ、入力テキストに対して関連するラベルを予測する。
• 異なるTransformerアーキテクチャ（例：BERT、RoBERTa、XLNet）およびラベル表現を用いた複数のモデルの予測を組み合わせることでアンサンブルランクを実現する。
• 相対的改善をParabelをベースラインとして計算することで、異なる手法間の公平な比較を保証するための補正評価プロトコルを適用する。
• 大規模XMCにおけるフル分類器のトレーニングが計算的に非現実的であるのを回避するため、従来の分類器ヘッドをクラスタベースでスパースな予測機構に置き換える。

実験結果

リサーチクエスチョン

• RQ1 巨大な出力空間とラベルの疎らさに直面しても、深層事前学習Transformerモデルは極めて多数のラベルを有する多ラベルテキスト分類において効果的に微調整可能だろうか？
• RQ2 XMCにおける大規模Transformerモデルのトレーニングコストを性能を損なわず低減できるか？
• RQ3 異なるラベル表現（例：テキスト埋め込み、TF-IDF）は、ラベルクラスタリングの質および下流の性能にどのような影響を与えるか？
• RQ4 モデルが生成するハードネガティブ例を組み込むことで、XMCにおけるランキングヘッドのロバスト性と精度は向上するか？
• RQ5 多様なモデルと表現を組み合わせたアンサンブル学習は、極めて多数のラベル分類において一貫した性能向上をもたらすか？

主な発見

• Wiki-500Kデータセット（約50万ラベル）において、X-Transformerは1ラベル精度が77.28%に達し、以前の最先端手法であるParabel（68.70%）およびAttentionXML（76.95%）を顕著に上回った。
• 実世界のAmazon製品2クエリデータセットにおいて、X-TransformerはParabelより10.7%の相対的改善を達成し、産業応用への強力な適性を示した。
• 意味的ラベルクラスタリングの導入によりデータの疎らさ問題が軽減され、100件以上のトレーニングインスタンスを有するクラスタの割合が、クラスタリング前後で99.4%から99.4%に変化し、長尾ラベル分布の影響が効果的に緩和された。
• 異なるTransformerモデルとラベル表現の予測を組み合わせたアンサンブルランクが最良の性能を達成し、Wiki-500KにおいてParabelより12.49%の相対的改善を示した。
• GPUメモリオーバーフローを回避するため、フル分類器をクラスタベースでスパースな予測機構に置き換えることで、100万ラベルでも計算的に現実可能なトレーニングが可能となった。
• アブレーションスタディの結果、教師強制ネガティブ（TFN）とアンサンブル学習の両方が性能向上に寄与することが確認されたが、TFN単体では露出バイアスのため十分な効果が得られなかった。