[論文レビュー] Maximum Margin Output Coding

Yi Zhang, Jeff Schneider|arXiv (Cornell University)|Jun 27, 2012

Music and Audio Processing参考文献 18被引用数 50

ひとこと要約

本稿では、多ラベル分類のための構造予測フレームワークとして、最大マージン出力符号化（MMOC）を提案する。この手法は、マックスマージン定式化を用いて、識別的で予測可能な符号語を同時に最適化する。問題を指数的多数の制約を持つ度合い学習に再定式化し、過生成的緩和と切断平面法を用いて効率的な最適化を実現。画像、テキスト、音楽分類ベンチマークにおいて、最先端の性能を達成した。

ABSTRACT

In this paper we study output coding for multi-label prediction. For a multi-label output coding to be discriminative, it is important that codewords for different label vectors are significantly different from each other. In the meantime, unlike in traditional coding theory, codewords in output coding are to be predicted from the input, so it is also critical to have a predictable label encoding. To find output codes that are both discriminative and predictable, we first propose a max-margin formulation that naturally captures these two properties. We then convert it to a metric learning formulation, but with an exponentially large number of constraints as commonly encountered in structured prediction problems. Without a label structure for tractable inference, we use overgenerating (i.e., relaxation) techniques combined with the cutting plane method for optimization. In our empirical study, the proposed output coding scheme outperforms a variety of existing multi-label prediction methods for image, text and music classification.

研究の動機と目的

• 多ラベル予測における、識別的で予測可能な出力符号を設計する課題に対処すること。
• 符号語の分離度（識別力）と入力特徴からの予測可能性の間のトレードオフをバランスすること。
• 符号語設計と予測関数を同時に最適化する構造的学習アプローチを開発すること。
• 構造的予測定式化における指数的多数の制約にもかかわらず、効果的な最適化を可能にすること。
• 画像、テキスト、音楽分類を含む多様な分野で、既存の多ラベル手法を上回ること。

提案手法

• 識別的符号語と予測可能なラベル符号化の両方を直接最適化するマックスマージン定式化を提案する。
• マックスマージン問題を、ペアワイズラベルベクトル差を表す多数の制約を持つ度合い学習タスクに再定式化する。
• 最適化プロセスにおける扱いにくい多数の制約を処理するため、過生成的緩和を用いる。
• 最も違反度の高い制約を繰り返し特定・追加することで、効率的な最適化を可能にする切断平面法を採用する。
• 学習された度合い構造を尊重しながら、入力を符号語にマップする統合予測子を訓練する。
• 出力符号設計と予測モデルを統合したエンドツーエンドの学習フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、異なるラベルベクトル間の識別的分離を最大化する出力符号を設計できるか？
• RQ2 ラベル空間のサイズに応じて指数的に増加する制約数がある場合、どのような最適化戦略が効果的な学習を可能にするか？
• RQ3 符号語設計と予測性能の両方を向上させる統合学習フレームワークは、多ラベル分類において有効か？
• RQ4 本手法は、多様なデータタイプ（画像、テキスト、音楽など）において、既存の多ラベル学習手法と比較してどのように異なるか？
• RQ5 マックスマージン定式化は、構造的出力予測における予測可能性と一般化性能をどの程度向上させるか？

主な発見

• 提案されたMMOCフレームワークは、多ラベル画像分類ベンチマークで最先端の性能を達成した。
• テキスト分類タスクにおいて、従来の出力符号化手法や多ラベルSVMと比較して、MMOCが優れた性能を示した。
• 音楽ジャンル分類においても強力な一般化性能を示し、分野を越えた頑健性を確認した。
• 切断平面アプローチにより、指数的多数の制約集合を効率的に処理でき、スケーラブルな学習が可能になった。
• 符号語設計と予測の統合的最適化により、予測精度とラベル分離度が向上した。
• 実験結果から、マックスマージン定式化が出力符号の識別力と予測可能性の両方を向上させることを確認した。