[論文レビュー] Deep Extreme Multi-label Learning

Wenjie Zhang, Junchi Yan+2 more|arXiv (Cornell University)|Apr 12, 2017

Text and Document Classification Technologies参考文献 39被引用数 5

ひとこと要約

本稿では、ラベル共起をモデル化する明示的なラベルグラフを用いて、非線形特徴空間およびラベル空間埋め込みを同時に学習する深層ニューラルネットワークフレームワーク、Deep Extreme Multi-label Learning (DXML) を提案する。グラフベースのラベル事前知識と深層学習を統合することで、極端な多ラベル分類ベンチマークにおいて最先端の性能を達成し、小規模データセットではSLEECをP@kおよびnDCG@kで最大4%上回り、Amazon-670Kでは28%上回る。

ABSTRACT

Extreme multi-label learning (XML) or classification has been a practical and important problem since the boom of big data. The main challenge lies in the exponential label space which involves $2^L$ possible label sets especially when the label dimension $L$ is huge, e.g., in millions for Wikipedia labels. This paper is motivated to better explore the label space by originally establishing an explicit label graph. In the meanwhile, deep learning has been widely studied and used in various classification problems including multi-label classification, however it has not been properly introduced to XML, where the label space can be as large as in millions. In this paper, we propose a practical deep embedding method for extreme multi-label classification, which harvests the ideas of non-linear embedding and graph priors-based label space modeling simultaneously. Extensive experiments on public datasets for XML show that our method performs competitive against state-of-the-art result.

研究の動機と目的

• 膨大なラベル空間（例：数百万ラベル）を有する極端な多ラベル学習（XML）の課題に対処すること。従来の手法は計算的に非現実的である。
• 低ランク仮定に依存し、共起パターンを含むラベル構造を無視する既存の埋め込みベースのXML手法の限界を克服すること。
• 非線形の深層学習と明示的なラベルグラフモデリングを統合し、高次元ラベル空間における複雑なラベル依存関係をよりよく捉えること。
• 新しいデータに対する効率的かつスケーラブルなエンドツーエンドの深層学習フレームワークを構築し、トレーニングと段階的学習を両立させること。
• SLEEC や FastXML などの最先端手法を上回る予測精度を実現しながら、競争力のある推論時間維持すること。

提案手法

• トレーニングデータから明示的なラベルグラフを構築する。2つのラベルが任意のトレーニングサンプルで同時に出現する場合、その間にエッジを設けることで、ラベル共起構造を符号化する。
• 入力特徴から低次元ラベル埋め込みへの非線形写像を学習するため、2つの全結合層（W1 と W2）と ReLU 活性化関数を備えた深層ニューラルネットワークを設計する。
• 最終的な埋め込み層の後に ℓ₂ 正規化を適用し、一般化性能の向上と一貫した埋め込みの大きさを確保する。
• k-NN を用いたラベル予測戦略を採用する。テストサンプルに対しては、学習済み埋め込み空間におけるk番目の近隣ラベルに基づきラベルを予測する。
• 確率的勾配降下法（SGD）を用いてネットワークを訓練する。正則化のためのモーメンタム、重み減衰、ドロップアウトを適用する。
• 予測性能を最適化するために、交差検証を用いて検証セット上でハイパーパrameter k をチューニングする。

実験結果

リサーチクエスチョン

• RQ1 明示的なラベルグラフモデリングは、深層学習ベースの極端な多ラベル分類の性能向上に寄与するか？
• RQ2 非線形の深層埋め込みは、線形または低ランク埋め込みに比べて、XMLにおける複雑なラベル依存関係をどれほどよく捉えられるか？
• RQ3 ラベルグラフ事前知識を統合した深層学習フレームワークは、最先端の精度を達成しながらも、計算的に効率的か？
• RQ4 提案手法は、SLEEC とは異なり、段階的学習をサポートするか？
• RQ5 本モデルは、サイズやラベル次元数が異なるデータセットにどのようにスケーリングするか？

主な発見

• Delicious データセットでは、SLEEC を P@k および nDCG@k で約1%上回り、Bibtex および MediaMill では {P, nDCG}@{3,5} でほぼ4%上回る。
• 大規模な Amazon-670K データセットでは、LFML よりも P@k および nDCG@k で28%の向上を達成し、LPSR-NB よりも9%の向上を達成する。
• SLEEC と同等の推論時間を達成しており、深層学習アプローチが prohibitively 高いテスト時間コストを伴わないことを示している。
• アブレーションスタディにより、埋め込みネットワークにおける非線形活性化（ReLU）が線形埋め込みに比べて性能を著しく向上させることが確認され、Delicious-200K でもその有効性が示された。
• SLEEC とは異なり、DXML は段階的学習をサポートしており、新しいデータが到着した際にも再トレーニングを必要としない。
• 小規模（例：Bibtex, MediaMill）および大規模（例：Amazon-670K）の両方のデータセットにおいて、良好な一般化性能を示し、耐障害性とスケーラビリティを兼ね備えている。