[論文レビュー] X-BERT: eXtreme Multi-label Text Classification with BERT

Wei-Cheng Chang, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|May 7, 2019

Text and Document Classification Technologies被引用数 7

ひとこと要約

X-BERTは、文書とラベルのテキストを統合的に扱うことで、意味的なラベルクラスターやラベル依存関係を学習する、極めて多数のラベルを扱うテキスト分類（XMC）のためのファインチューニング済みBERTベースモデルを提案する。0.5MラベルのWikiデータセットにおいて最先端の性能を達成し、precision@1が67.80%に達し、Parabelより相対的に11.31%の向上を示した。

ABSTRACT

Extreme multi-label text classification (XMC) aims to tag each input text with the most relevant labels from an extremely large label set, such as those that arise in product categorization and e-commerce recommendation. Recently, pretrained language representation models such as BERT achieve remarkable state-of-the-art performance across a wide range of NLP tasks including sentence classification among small label sets (typically fewer than thousands). Indeed, there are several challenges in applying BERT to the XMC problem. The main challenges are: (i) the difficulty of capturing dependencies and correlations among labels, whose features may come from heterogeneous sources, and (ii) the tractability to scale to the extreme label setting as the model size can be very large and scale linearly with the size of the output space. To overcome these challenges, we propose X-BERT, the first feasible attempt to finetune BERT models for a scalable solution to the XMC problem. Specifically, X-BERT leverages both the label and document text to build label representations, which induces semantic label clusters in order to better model label dependencies. At the heart of X-BERT is finetuning BERT models to capture the contextual relations between input text and the induced label clusters. Finally, an ensemble of the different BERT models trained on heterogeneous label clusters leads to our best final model. Empirically, on a Wiki dataset with around 0.5 million labels, X-BERT achieves new state-of-the-art results where the precision@1 reaches 67:80%, a substantial improvement over 32.58%/60.91% of deep learning baseline fastText and competing XMC approach Parabel, respectively. This amounts to a 11.31% relative improvement over Parabel, which is indeed significant since the recent approach SLICE only has 5.53% relative improvement.

研究の動機と目的

• 大規模なラベル集合を有する極めて多数のラベルを扱うテキスト分類（XMC）における複雑なラベル依存関係をモデル化する課題に対処すること。
• モデルサイズが出力空間に線形に増加する極めて多数のラベル設定において、BERTベースのモデルを効率的にスケーリングすること。
• ドキュメントとラベルのテキストを統合的にモデリングすることで意味的なラベルクラスタを誘導し、XMCタスクのパフォーマンスを向上させること。
• 既存のディープラーニングおよびXMC特化型のベースラインを上回るスケーラブルなファインチューニング済みBERTソリューションを開発すること。
• 異種のラベルクラスタにわたるアンサンブル学習を用いることで、大規模なXMCベンチマークで顕著なパフォーマンス向上を示すこと。

提案手法

• X-BERTは、ドキュメントテキストとラベルテキストの両方を統合的にエンコードすることで、ラベル表現を構築し、意味的関係を捉える。
• モデルは、入力テキストと誘導されたラベルクラスタ間の文脈的相互作用を学習するためにBERTをファインチューニングする。これにより、ラベル依存関係の学習が強化される。
• ラベルクラスタは、統合的ドキュメント-ラベル表現から得られる意味的類似度に基づいて形成され、ラベル相関の構造的モデリングが可能になる。
• モデルは、異なる異種のラベルクラスタ上で訓練された複数のBERTバリアントのアンサンブルを採用することで、汎化性とロバスト性を向上させる。
• エンドツーエンドのファインチューニングが、XMCの指標（例：precision@1）を最適化するための統合表現空間で実行される。
• クラスタリングによって有効なラベル空間を縮小することで、意味的整合性を保ちつつ、効率的なスケーリングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 50万を超えるラベルを有する極めて多数のラベルを扱うテキスト分類において、BERTを効果的にファインチューニングできるか？
• RQ2 極めて多数のラベル設定において、ラベル依存関係や相関関係を効果的にモデル化する方法は何か？
• RQ3 ドキュメントとラベルのテキストを統合的にエンコードすることで、ラベルの意味的クラスタリングと下流の分類性能が向上するか？
• RQ4 異種のラベルクラスタにわたるアンサンブルBERTモデルを用いることで、XMCにおけるパフォーマンスにどの程度の向上が得られるか？
• RQ5 Parabel や fastText といった最先端のXMC手法と比較して、X-BERTは大規模データセットにおける precision@1 でどの程度の性能を示すか？

主な発見

• X-BERTは、約0.5百万ラベルを有するWikiデータセットにおいて、precision@1が67.80%に達し、新たな最先端の成績を樹立した。
• 強い競合手法であるParabelと比較して、相対的に11.31%のパフォーマンス向上を示し、顕著な向上を実証した。
• Parabelに対する向上率は、SLICEのそれ（5.53%相対的向上）を上回り、X-BERTの有効性を強力に示している。
• ドキュメント-ラベルの統合的エンコードの活用により、より良い意味的ラベルクラスタリングが可能になり、ラベル依存関係モデリングが強化された。
• 異種のラベルクラスタ上で訓練された複数のBERTモデルをアンサンブル化することで、単一モデルのベースラインと比較して顕著なパフォーマンス向上が達成された。
• X-BERTは、ラベルクラスタリングとファインチューニングを活用することで、モデルサイズが出力空間に線形に増加するという課題を克服し、BERTを極めて多数のラベル設定に効果的にスケーリングした。