[論文レビュー] Adversarial Extreme Multi-label Classification

Rohit Babbar, Bernhard Schoelkopf|arXiv (Cornell University)|Mar 5, 2018

Machine Learning and Algorithms参考文献 29被引用数 12

ひとこと要約

本稿では、ラベル分布シフトを敵対的摂動としてモデル化することで、極端な多値分類（XMC）のためのロバスト最適化フレームワークを提案する。これにより、ハミング損失を伴う1-ノルム正則化目的関数に等価な定式化が得られ、精度@kおよびnDCG@k指標においてPFastreXMLよりも最大20%、SLEECよりも最大60%の相対的改善が達成される。本手法は補助分類器や傾向度推定を必要とせず、最先端手法を上回る性能を発揮する。

ABSTRACT

The goal in extreme multi-label classification is to learn a classifier which can assign a small subset of relevant labels to an instance from an extremely large set of target labels. Datasets in extreme classification exhibit a long tail of labels which have small number of positive training instances. In this work, we pose the learning task in extreme classification with large number of tail-labels as learning in the presence of adversarial perturbations. This view motivates a robust optimization framework and equivalence to a corresponding regularized objective. Under the proposed robustness framework, we demonstrate efficacy of Hamming loss for tail-label detection in extreme classification. The equivalent regularized objective, in combination with proximal gradient based optimization, performs better than state-of-the-art methods on propensity scored versions of precision@k and nDCG@k(upto 20% relative improvement over PFastreXML - a leading tree-based approach and 60% relative improvement over SLEEC - a leading label-embedding approach). Furthermore, we also highlight the sub-optimality of a sparse solver in a widely used package for large-scale linear classification, which is interesting in its own right. We also investigate the spectral properties of label graphs for providing novel insights towards understanding the conditions governing the performance of Hamming loss based one-vs-rest scheme vis-à-vis label embedding methods.

研究の動機と目的

• 極端な多値分類（XMC）において、多くのラベルが少数の正例しか持たないという、尾部ラベル検出の困難さに対処すること。
• 長尾ラベル分布を示すXMCを、特徴量の分布シフトをl∞-ノルムにおける敵対的摂動としてモデル化することで、ロバスト最適化問題として再定式化すること。
• 敵対的ロバスト性による正則化を施したハミング損失が、尾部ラベル検出に非常に有効であることを示すこと。
• one-vs-rest方式がXMCにおいてラベル埋め込み手法を上回る理由について、理論的および実験的知見を提供すること。
• 広く使われている大規模線形分類ソルバーにおける、特にスパース最適化において顕在する非効率な挙動の特定と是正。

提案手法

• 訓練データとテストデータ間の特徴量分布シフトをl∞-ノルムにおける敵対的摂動としてモデル化することで、XMCをロバスト最適化問題として定式化する。
• 双対性を用いて、敵対的ロバスト性とL1正則化の等価性を導出し、等価な1-ノルム正則化目的関数を導出する。
• ハミング損失を伴う正則化目的関数を、分散型前向き後ろ向き近接勾配アルゴリズムで効率的に最適化する。
• 敵対的ロバスト性とL1正則化の等価性を活用し、低頻度の尾部ラベルにおける一般化性能の向上を実現する。
• 補助再ランクイングや傾向度スコアリングを不要とする、スケーラブルで1つのハイパーパrameterのみを必要とする手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバスト性を活用することで、極端な多値分類における尾部ラベル検出を改善できるか？
• RQ2 なぜ、敵対的ロバスト性による正則化を施したハミング損失が、XMCにおいて最先端のツリー型およびラベル埋め込み手法を上回るのか？
• RQ3 one-vs-rest方式とラベル埋め込み手法の性能に影響を与えるラベルグラフのスペクトル的および構造的性質は何か？
• RQ4 提案されたロバスト最適化フレームワークは、一般化性能およびモデル効率の観点で、既存手法とどのように比較されるか？
• RQ5 広く使われている大規模線形分類パッケージに内蔵されたスパースソルバーが、XMCにおいてなぜ非効率なのか？

主な発見

• 本手法は、nDCG@kおよび精度@k指標において、PFastreXMLよりも最大20%、SLEECよりも最大60%の相対的改善を達成した。
• 敵対的ロバスト性による正則化を施したハミング損失は、尾部ラベル検出に非常に有効であり、それまでそのタスクに不適切であるとされていたという従来の仮定に反する。
• Rocchioベースの再ランカーを別途必要とせず、PFastreXMLを凌駕する性能を発揮した。これにより、主要な依存関係と複雑さが排除された。
• モデルサイズは著しく小さく、WikiLSHTC-325Kでは約3GBであったのに対し、PFastreXMLは30GBであった。これにより、リアルタイムシステムにおける高速な推論が可能になった。
• 広く使われているスパース線形ソルバーにおける非効率な挙動を特定・是正し、大規模XMC環境下でのその非効率性を明らかにした。
• ラベルグラフのスペクトル解析により、one-vs-rest方式がラベル埋め込み手法を上回る構造的条件が特定された。