[論文レビュー] GNN-XML: Graph Neural Networks for Extreme Multi-label Text Classification

Daoming Zong, Shiliang Sun|arXiv (Cornell University)|Dec 10, 2020

Text and Document Classification Technologies参考文献 48被引用数 7

ひとこと要約

GNN-XML は、ラベル共起性を活用してラベルグラフを構築し、低パスフィルタを用いた属性付きグラフクラスタリングを適用して依存関係および意味的感度を持つラベルクラスタを形成するグラフニューラルネットワークフレームワークを提案する。さらに、表現学習と分類器学習を分離する二重ブランチグラフ同型ネットワークを採用し、テールラベルにおける性能を著しく向上させつつ効率性を維持し、複数のベンチマークで最先端の手法を上回る。

ABSTRACT

Extreme multi-label text classification (XMTC) aims to tag a text instance with the most relevant subset of labels from an extremely large label set. XMTC has attracted much recent attention due to massive label sets yielded by modern applications, such as news annotation and product recommendation. The main challenges of XMTC are the data scalability and sparsity, thereby leading to two issues: i) the intractability to scale to the extreme label setting, ii) the presence of long-tailed label distribution, implying that a large fraction of labels have few positive training instances. To overcome these problems, we propose GNN-XML, a scalable graph neural network framework tailored for XMTC problems. Specifically, we exploit label correlations via mining their co-occurrence patterns and build a label graph based on the correlation matrix. We then conduct the attributed graph clustering by performing graph convolution with a low-pass graph filter to jointly model label dependencies and label features, which induces semantic label clusters. We further propose a bilateral-branch graph isomorphism network to decouple representation learning and classifier learning for better modeling tail labels. Experimental results on multiple benchmark datasets show that GNN-XML significantly outperforms state-of-the-art methods while maintaining comparable prediction efficiency and model size.

研究の動機と目的

• ラベル集合が数百万に達する可能性がある極端なマルチラベルテキスト分類（XMTC）におけるスケーラビリティとデータスパarsityの課題に対処する。
• 木ベースのモデルにおける誤差伝搬やテールラベルにおける一般化性能の低さといった既存手法の限界を、ラベル相関と依存関係のモデリングによって克服する。
• 大規模なラベル空間においても高い予測効率を維持できる、スケーラブルでエンドツーエンドのフレームワークを構築する。
• 表現学習と分類器学習の分離により、長尾ラベル分布における性能を向上させ、より良いテールラベル認識を実現する。

提案手法

• 訓練データからの共起パターンを用いてラベルグラフを構築し、ラベル相関を捉える。
• 低パスフィルタを用いた属性付きグラフクラスタリングを適用し、ラベル接続性とラベル特徴を同時にモデリングすることで、意味的感度と依存関係感度を持つクラスタを形成する。
• KeyGraphスキーマを介して事前学習済み言語モデル（例：BERT）を統合し、テキスト表現に深層文脈特徴を豊かにする。
• 表現学習と分類器学習を分離する二重ブランチグラフ同型ネットワークを設計し、再バランスによる段階的フォーカスによりテールラベルに焦点を当てる。
• グラフリードアウト操作を用いてノード埋め込みをグローバルなテキスト表現に集約し、ラベルクラスタと照合する。
• 限られたGPUおよびRAMリソースでも学習可能となるよう、トレーニング中に効率的なグラフサンプリングを採用し、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 極端なマルチラベル設定において、ラベル共起パターンを効果的に活用して意味的感度を持つ意味的意味のあるラベルクラスタを形成できるか？
• RQ2 表現学習と分類器学習の分離は、XMTCにおけるリソースが限られた（テール）ラベルの一般化性能を向上させるか？
• RQ3 グラフニューラルネットワークフレームワークは、数百万のラベルにスケーリングしても高い予測効率を維持できるか？
• RQ4 事前学習済み言語モデルの統合は、GNN-XMLフレームワークにおける性能にどのように影響を与えるか？
• RQ5 提案されたラベルクラスタリング戦略は、長尾ラベル分布におけるデータスパarsityをどの程度軽減できるか？

主な発見

• GNN-XML は PSP@k（k=1,3,5）において最先端の手法を著しく上回り、通常既存モデルが低予測となるテールラベルにおいても優れた性能を示す。
• 1クラスタあたり100件以上のトレーニングインスタンスを有するクラスタのカバレッジが75.8%に達しており、意味的感度クラスタリングによるデータスパarsityの効果的緩和を示している。
• アブレーションスタディにより、二重ブランチ学習、グラフ同型性、リードアウトの各コンポonentが性能向上に寄与していることが確認され、特に二重ブランチがテールラベルにおける改善に最も寄与している。
• ラベル表現に BERT-base を使用した場合、TF-IDF よりも優れた結果を達成しており、スパースなbag-of-words表現ではなく、密度の高い文脈特徴の重要性が示された。
• わずかなトレーニング時間およびモデルサイズの増加にもかかわらず、GNN-XML はミリ秒オーダーの推論遅延を維持しており、リアルタイムアプリケーション要件を満たしている。
• 最適なクラスタ数は約 ⌊L/60⌋ であり、この値で性能がピークに達し、それ以上ではわずかな向上しか得られない。