[論文レビュー] CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification

Siddhant Kharbanda, Atmadeep Banerjee+2 more|arXiv (Cornell University)|Oct 29, 2022

Text and Document Classification Technologies被引用数 5

ひとこと要約

CascadeXML は、ラベルツリーの各解像度レベルで異なる特徴表現を学習するために、トランスフォーマーの階層的アテンションメカニズムを活用する、エンドツーエンドでマルチリゾリューションなトレーニングフレームワークを提案する。解像度固有のアテンションマップと個別の監視を用いて単一のトランスフォーマーエンコーダーをトレーニングすることで、最大300万ラベルを有するデータセットにおいて、反復的再クラスタリングや共有アテンションヘッドを必要としない XR-Transformer や LightXML よりも最先端の性能を達成した。

ABSTRACT

Extreme Multi-label Text Classification (XMC) involves learning a classifier that can assign an input with a subset of most relevant labels from millions of label choices. Recent approaches, such as XR-Transformer and LightXML, leverage a transformer instance to achieve state-of-the-art performance. However, in this process, these approaches need to make various trade-offs between performance and computational requirements. A major shortcoming, as compared to the Bi-LSTM based AttentionXML, is that they fail to keep separate feature representations for each resolution in a label tree. We thus propose CascadeXML, an end-to-end multi-resolution learning pipeline, which can harness the multi-layered architecture of a transformer model for attending to different label resolutions with separate feature representations. CascadeXML significantly outperforms all existing approaches with non-trivial gains obtained on benchmark datasets consisting of up to three million labels. Code for CascadeXML will be made publicly available at \url{https://github.com/xmc-aalto/cascadexml}.

研究の動機と目的

• 既存の XMC メソッドがラベルツリーの各レベルで独立した解像度固有の特徴表現を維持する点での制限を解消すること。
• メタラベルの短縮と極端な分類の両方を1つのトランスフォーマー モデルでエンドツーエンドにトレーニング可能とし、反復的再クラスタリングや凍結された特徴抽出を回避すること。
• 異なる解像度にわたるマルチレイヤードアテンションを活用することで、極端にスケールしたデータセット（最大300万ラベル）における性能を向上させること。
• LightXML のようなエンドツーエンドモデルで観察されるメタ分類と極端分類のタスク間干渉を、解像度ごとに特徴表現を分離することで軽減すること。
• 最終的（極端）解像度で高品質な表現を保持しつつ、粗いレベルでの効果的な短縮を可能にすること。

提案手法

• CascadeXML は、階層的ラベルツリー（HLT）の各解像度レベルに対して別々の分類ヘッドを備えた単一のトランスフォーマー エンコーダーを採用する。
• 解像度固有のアテンションマップをエンドツーエンドで学習し、粗いおよび細かいラベル予測に対して異なるアテンションパターンを可能にする。
• すべてのヘッドをマルチタスク目的で同時にトレーニングし、極端解像度のヘッドからの勾配がすべてのレイヤーに伝播する一方、粗いタスクは主に初期レイヤーに影響を与える。
• 中間のトランスフォーマー レイヤーの特徴表現を粗い解像度での短縮に使用し、最終レイヤーは極端分類に最適化する。
• XR-Transformer の反復パイプラインとは異なり、中間の再クラスタリングや特徴の凍結を回避し、すべてのコンponents をエンドツーエンドでトレーニングする。
• 静的に事前計算されたクラスタリングに代わって、アテンションを介して動的にラベル短縮リストを学習し、中間特徴が粗くても高い再現率を維持する。

実験結果

リサーチクエスチョン

• RQ1 1つのトランスフォーマー モデルが、極端なマルチラベル分類におけるラベル階層の複数のレベルで、明確に分離された解像度固有のアテンションパターンを効果的に学習できるか？
• RQ2 解像度ごとに別々の監視を施したエンドツーエンドトレーニングは、共有アテンションや単一レベルのモデルよりも性能を向上させるか？
• RQ3 中間トランスフォーマー レイヤーが、メタ分類タスクに十分な表現品質を提供しつつ、最終レイヤーの極端分類のための表現を保持できるか？
• RQ4 反復的または凍結特徴アプローチと比較して、提案されたマルチリゾリューショントレーニング方式は、精度とトレーニング効率の点で優れているか？
• RQ5 解像度ごとに特徴表現を分離することで、短縮と極端分類のタスク間干渉がどの程度軽減されるか？

主な発見

• CascadeXML は、最大300万ラベルを有するベンチマーク XMC データセットで最先端の性能を達成し、XR-Transformer や LightXML といった先行手法を顕著に上回った。
• モデルは、解像度固有のアテンションマップがレベル間で顕著に異なるアテンションパターンを生み出すことを示し、別々のアテンションヘッドを採用する設計選択の妥当性を裏付けた。
• 中間のトランスフォーマー レイヤーを粗い解像度、最終レイヤーを極端分類に使用することで、最終解像度での高品質な表現を維持しつつ、短縮の再現率を損なわずに保った。
• エンドツーエンドのトレーニング方式により、反復的再クラスタリングや特徴の凍結の必要がなくなり、XR-Transformer の複数段階パイプラインと比較してトレーニングを簡素化し、推論速度を向上させた。
• 中間特徴が粗くても、ラベル短縮の再現率が高く維持された。これは、メタタスクが極端分類ほど表現品質に敏感でないことを確認した。
• 付録 B の実験結果から、異なる解像度で学習されたアテンションマップが顕著に異なることが示され、異なるタスクに異なるアテンションパターンが必要であるという仮説を支持した。