[論文レビュー] Multi-View Learning over Structured and Non-Identical Outputs

Kuzman Ganchev, Joäo Graça+2 more|arXiv (Cornell University)|Jun 13, 2012

Topic Modeling参考文献 25被引用数 60

ひとこと要約

本稿では、構造的かつ同一でない出力における一般化を向上させるために、視点間の確率的一致を正則化として活用する確率的マルチビュー学習アルゴリズムを提案する。視点モデル間のバタチンギャ距離を最小化することで、平坦な分類タスクおよび構造的分類タスクにおいて、CoBoosting や二視点パーセプトロンを凌駕する。特に部分的一致設定において顕著な性能向上を示す。

ABSTRACT

In many machine learning problems, labeled training data is limited but unlabeled data is ample. Some of these problems have instances that can be factored into multiple views, each of which is nearly sufficent in determining the correct labels. In this paper we present a new algorithm for probabilistic multi-view learning which uses the idea of stochastic agreement between views as regularization. Our algorithm works on structured and unstructured problems and easily generalizes to partial agreement scenarios. For the full agreement case, our algorithm minimizes the Bhattacharyya distance between the models of each view, and performs better than CoBoosting and two-view Perceptron on several flat and structured classification problems.

研究の動機と目的

• 機械学習におけるラベル付きデータの限界を克服するため、同一データの複数の視点を活用すること。
• 出力構造が完全に一致しない場合でも、視点を効果的に統合する手法を開発すること。
• 出力が平坦でないか、視点間で同一でない構造予測問題に、マルチビュー学習を一般化すること。
• 視点間の確率的一致に基づく正則化機構を導入し、モデルの頑健性と一般化性能を向上させること。
• 既存のマルチビュー手法を、部分的一致や出力空間が非同一な状況にも拡張すること。

提案手法

• 各視点の出力分布を確率的枠組みでモデル化する。
• 視点が確率論的に一致することを促進する正則化項として、確率的一致を導入する。
• コアとなる最適化は、異なる視点の予測分布間のバタチンギャ距離を最小化する。
• 本アルゴリズムは、系列ラベル付けや多値分類を含む、構造的および非構造的出力の両方を扱える。
• 視点がすべてのインスタンスで完全に一致しない部分的一致シナリオにも自然に一般化可能である。
• 視点固有のモデル更新と一致正則化を交互に繰り返す反復的アルゴリズムとして実装される。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー学習を、構造的かつ同一でない出力空間に効果的に拡張する方法は何か？
• RQ2 視点間の確率的一致が、マルチビュー学習における頑健な正則化機構として機能できるか？
• RQ3 提案手法は、CoBoosting や二視点パーセプトロンといった既存手法と比較して、どのように性能を発揮するか？
• RQ4 視点が完全に一致しない部分的一致シナリオにも、本手法は一般化可能か？
• RQ5 視点モデル間のバタチンギャ距離を最小化することで、構造予測タスクにおける一般化性能が向上するか？

主な発見

• 提案手法は、複数の平坦および構造的分類タスクにおいて、CoBoosting や二視点パーセプトロンを上回る性能を達成する。
• 視点モデル間のバタチンギャ距離を最小化することで、確率的一致を強制し、より良い性能を達成する。
• 視点がすべてのインスタンスで完全に一致しない部分的一致設定に対しても、本手法は効果的に一般化可能である。
• 本アルゴリズムは、系列など構造的出力と、多値ラベルなど非構造的出力の両方へ適用可能である。
• 実験的結果から、多様なベンチマークデータセットにおいて一貫した性能向上が確認され、特にデータが少ない状況で顕著である。
• 異種の出力空間を持つマルチビュー学習において、本手法は頑健性とスケーラビリティを示している。