[論文レビュー] Large-scale Multi-label Learning with Missing Labels

Hsiang‐Fu Yu, Prateek Jain+2 more|arXiv (Cornell University)|Jul 18, 2013

Text and Document Classification Technologies参考文献 23被引用数 369

ひとこと要約

本稿は、低ランク行列モデルとトレースノルム正則化を用いて、欠損ラベルを伴う大規模マルチラベル学習のスケーラブルな経験的リスク最小化（ERM）フレームワークを提案する。Wikipediaのようなベンチマークデータセットにおいて最先端の性能を達成し、共役勾配法と交互最小化を用いた効率的な最適化が可能であり、ラベルがランダムに欠損する条件下でもタイトな理論的過剰リスクバインディングを提供する。

ABSTRACT

The multi-label classification problem has generated significant interest in recent years. However, existing approaches do not adequately address two key challenges: (a) the ability to tackle problems with a large number (say millions) of labels, and (b) the ability to handle data with missing labels. In this paper, we directly address both these problems by studying the multi-label problem in a generic empirical risk minimization (ERM) framework. Our framework, despite being simple, is surprisingly able to encompass several recent label-compression based methods which can be derived as special cases of our method. To optimize the ERM problem, we develop techniques that exploit the structure of specific loss functions - such as the squared loss function - to offer efficient algorithms. We further show that our learning framework admits formal excess risk bounds even in the presence of missing labels. Our risk bounds are tight and demonstrate better generalization performance for low-rank promoting trace-norm regularization when compared to (rank insensitive) Frobenius norm regularization. Finally, we present extensive empirical results on a variety of benchmark datasets and show that our methods perform significantly better than existing label compression based methods and can scale up to very large datasets such as the Wikipedia dataset.

研究の動機と目的

• 大規模なラベル空間（最大数百万ラベル）とマルチラベル学習におけるラベル欠損という二重の課題に対処すること。
• 既存のラベル圧縮手法を特別なケースとして含む包括的で柔軟なフレームワークを構築すること。
• Wikipediaのような大規模データセットにスケーリング可能な効率的な最適化アルゴリズムを設計すること。
• ラベルが部分的に欠損している場合でも、形式的な一般化保証（過剰リスクバインディング）を提供すること。
• 多様なベンチマークデータセットにおいて、既存のラベル圧縮法およびマルチラベル手法と比較して優れた性能を実証的に示すこと。

提案手法

• 予測を $ \mathbf{y}^{\text{pred}} = Z^T \mathbf{x} $ とし、$ Z \in \mathbb{R}^{d \times L} $ を低ランク線形モデルとして用いることで、マルチラベル学習を経験的リスク最小化（ERM）問題として定式化する。
• ラベルスパarsity下でも一般化性能を向上させるために、低ランク解を促進するトレースノルム正則化を用いる。
• 構造化された損失関数を持つ非凸ERM問題を、交互最小化と共役勾配法を用いて最適化する。
• 二乗 $ L_2 $ 損失の場合に閉形式解を導出し、Chen & Lin (2012) のCPLST手法がその特別なケースとして等価であることを示す。
• ラベルの均一なランダム観測を仮定することで、欠損ラベルを扱うフレームワークを拡張し、ランダム行列理論を用いた理論的分析を可能にする。
• 各インスタンスあたりの非ゼロ特徴量の平均数 $ \bar{d} $ を用いて、直接計算より $ O(\bar{d}) $ 速いスケーラブルなアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 包括的で統一されたERMフレームワークは、大規模なラベル空間と欠損ラベルの両方を効果的に処理できるか？
• RQ2 ラベルスパarsity下での一般化性能において、トレースノルム正則化はフロベニウスノルム正則化と比べてどのように差を示すか？
• RQ3 提案されたフレームワークは、欠損ラベルを伴うWikipediaのような大規模データセットで最先端の性能を達成できるか？
• RQ4 ラベルがランダムに欠損する条件下で、トレースノルム正則化されたERM定式化の理論的過剰リスクバインディングは何か？
• RQ5 最適化アルゴリズムの効率性は、データサイズおよびスパarsityに伴いどのようにスケーリングされるか？

主な発見

• 提案手法は、10万ラベルを超えるWikipediaデータセットを含むベンチマークデータセットにおいて、既存のラベル圧縮手法よりも顕著に優れた性能を達成した。
• 50%のラベル欠損を伴うbibtexデータセットでは、二乗ハッジ損失を用いて平均AUCが0.8724に達し、ベースライン手法を上回った。
• 40%のラベルスパarsityを伴うautofoodデータセットでは、ロジスティック損失下で平均AUCが0.9260に達し、すべてのベースラインを上回った。
• 理論的分析により、トレースノルム正則化は、等方的データ分布においてフロベニウスノルム正則化よりもタイトな過剰リスクバインディングをもたらすことが示された。
• 最適化アルゴリズムは、直接計算より $ O(\bar{d}) $ 速く、大規模かつスパースなデータセットへの効率的スケーリングを可能にした。
• フレームワークは、二乗 $ L_2 $ 損失下で、CPLSTなどの既存のラベル圧縮手法を特別なケースとして一般化する。