[論文レビュー] Label Disentanglement in Partition-based Extreme Multilabel Classification

Xuanqing Liu, Wei-Cheng Chang+3 more|arXiv (Cornell University)|Jun 24, 2021

Text and Document Classification Technologies参考文献 29被引用数 5

ひとこと要約

本稿では、分割ベースの極端な多値分類（XMC）におけるラベルの分離を最適化に基づくフレームワークとして提案し、排他的でない、マルチモーダルなラベルクラスタリングを可能にすることで、精度の向上を実現する。ラベル割り当てとモデルパラメータを精度最大化により同時に最適化することで、4つのXMCベンチマークで最先端の性能を達成し、トレーニングおよび推論のオーバーヘッドを最小限に抑える。

ABSTRACT

Partition-based methods are increasingly-used in extreme multi-label classification (XMC) problems due to their scalability to large output spaces (e.g., millions or more). However, existing methods partition the large label space into mutually exclusive clusters, which is sub-optimal when labels have multi-modality and rich semantics. For instance, the label "Apple" can be the fruit or the brand name, which leads to the following research question: can we disentangle these multi-modal labels with non-exclusive clustering tailored for downstream XMC tasks? In this paper, we show that the label assignment problem in partition-based XMC can be formulated as an optimization problem, with the objective of maximizing precision rates. This leads to an efficient algorithm to form flexible and overlapped label clusters, and a method that can alternatively optimizes the cluster assignments and the model parameters for partition-based XMC. Experimental results on synthetic and real datasets show that our method can successfully disentangle multi-modal labels, leading to state-of-the-art (SOTA) results on four XMC benchmarks.

研究の動機と目的

• 分割ベースのXMCにおけるラベルクラスタリングの相互排他的な制限を是正すること。これは、ラベルのマルチモーダルな意味を捉えられていない。
• ラベルが複数のクラスタに属することを許容することで、複数の意味を持つラベル（例：「Apple」を果物またはブランドとして）の分離を可能にすること。
• ラベル割り当てを精度を最大化する最適化問題として定式化し、既存のXMCモデルとエンドツーエンドで統合し、プラグアンドプレイの形で統合すること。
• XR-Linear や X-Transformer などの先端的なXMC手法の性能を、クラスタ割り当てとモデルパラメータの代替的最適化により向上させること。

提案手法

• 精度を最大化する最適化問題としてラベルクラスタリングを再定式化し、ラベルが複数のクラスタに割り当てられるのを許容する。
• ラベル割り当てとモデルパラメータを交互に更新する反復的アルゴリズムを導入し、割り当て問題の微分可能リラクゼーションを用いる。
• クラスタ割り当て行列の微分可能リラクゼーションを用いて、クラスタリング段階をバックプロパゲーション可能にする。
• 現在のモデル予測に基づいて、重複ラベルクラスタの学習を導く精度ベースの目的関数を採用する。
• XR-Linear や X-Transformer などの既存の分割ベースXMCモデルのコアアーキテクチャを変更せずに、プラグインとして適用可能である。
• ウォームアップ戦略と代替的最適化ループ（アルゴリズム1）を用い、クラスタマップとマッチャーモデルを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 重複ラベルクラスタリングは、相互排他的なクラスタリングと比較して、極端な多値分類におけるマルチモーダルな意味をより良く捉えられるか？
• RQ2 ラベルの分離を、XMCにおける精度向上を目的とした最適化問題としてどのように定式化できるか？
• RQ3 ラベル割り当てとモデルパラメータの学習を、微分可能かつスケーラブルな方法で同時に最適化できるか？
• RQ4 提案手法は、ラベル空間サイズが異なる多様なXMCベンチマークにおいて一貫して性能向上をもたらすか？
• RQ5 ベースラインの分割ベースXMCモデルと比較して、提案手法のトレーニングおよび推論のオーバーヘッドはどの程度か？

主な発見

• 提案手法は4つのXMCベンチマークで新たな最先端の精度を達成し、特にAmazon-3MではP@1が47.51%に達し、前回のSOTAを上回った。
• Amazon-3Mでは、同じ特徴量を用いた場合、ベースラインのXR-Linearと比較してP@1が0.77%絶対的に向上し、P@5が0.88%向上した。
• X-Transformerを用いた場合、Amazon-3Mでトレーニング時間は1.1%、推論オーバーヘッドは21.1%しか追加されず、計算コストが非常に低いことが示された。
• 代替的最適化（モデルとクラスタ割り当ての同時学習）により一貫した改善が得られ、固定割り当てと比較してAmazon-3MのP@1が0.43%向上した。
• 特にラベル意味の複雑な大規模データセット（例：Amazon-3M）では、ラベル分離が顕著な向上をもたらすことが分かった。
• アブレーションスタディの結果、改善はランダム割り当てではなく、精度駆動型クラスタリングによるものであることが確認され、ランダムベースラインは著しく性能が劣っていた。