[論文レビュー] Active Semi-Supervised Learning using Submodular Functions

Andrew Guillory, Jeff Bilmes|arXiv (Cornell University)|Feb 14, 2012

Machine Learning and Algorithms参考文献 19被引用数 33

ひとこと要約

本稿では、グラフカットを任意の対称なサブモジュラー関数に置き換えることで、グラフベース学習における誤差バウンドを一般化する、新しいアクティブな半教師付き学習フレームワークを提案する。このフレームワークは、これらのバウンドを近似的に最小化する手法を導入し、バウンドがタイトであることを証明するとともに、正確な最小化がNP完全であることを示しており、実データを用いた実証的検証も行われている。

ABSTRACT

We consider active, semi-supervised learning in an offline transductive setting. We show that a previously proposed error bound for active learning on undirected weighted graphs can be generalized by replacing graph cut with an arbitrary symmetric submodular function. Arbitrary non-symmetric submodular functions can be used via symmetrization. Different choices of submodular functions give different versions of the error bound that are appropriate for different kinds of problems. Moreover, the bound is deterministic and holds for adversarially chosen labels. We show exactly minimizing this error bound is NP-complete. However, we also introduce for any submodular function an associated active semi-supervised learning method that approximately minimizes the corresponding error bound. We show that the error bound is tight in the sense that there is no other bound of the same form which is better. Our theoretical results are supported by experiments on real data.

研究の動機と目的

• 既存のアクティブラーニング手法がグラフカットに依存するという制限を解決すること。これは、多様なデータ構造に対して制限的である。
• グラフカットを超えて、任意の対称なサブモジュラー関数に一般化された誤差バウンドを、推論的アクティブラーニングで得ること。
• 実世界の応用に適した実用的なアルゴリズムを開発し、一般化された誤差バウンドの最小化を近似的に行うこと。
• 理論的保証を確立すること。具体的には、バウンドのタイトさと正確な最小化のNP完全性を示すこと。
• 実データセットを用いた実証的検証を通じて、異なるサブモジュラー関数の選択に対しても本手法の有効性を示すこと。

提案手法

• アクティブラーニングにおけるグラフカットに基づく誤差バウンドを、任意の対称なサブモジュラー関数に置き換えることで、バウンドの一般化を実現する。
• 非対称なサブモジュラー関数に対しても適用可能なように、対称化を用いてフレームワークを拡張する。
• サブモジュラー最適化を用いて、一般化された誤差バウンドを最小化するアクティブラーニングの目的関数を定式化する。
• サブモジュラー制約下での誤差バウンド最小化のための貪欲近似アルゴリズムを提案する。
• バウンドが決定論的であり、敵対的ラベル割り当てに対しても成り立つことを保証することで、理論的頑健性を確保する。
• 未ラベルデータが固定されており、ラベルが段階的に選択されるオフラインで推論的な設定（トランスダクティブ設定）で本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングにおける誤差バウンドは、グラフカットを超えて任意の対称なサブモジュラー関数へ一般化可能か？
• RQ2 サブモジュラー関数の選択が、アクティブラーニング手法の性能と一般化能力にどのように影響を与えるか？
• RQ3 提案された誤差バウンドは、同形式の既存のバウンドよりもタイトか？
• RQ4 提案された誤差バウンドの最小化の計算複雑度は何か？
• RQ5 実際の応用において、バウンドを効率的に最小化できる近似アルゴリズムを設計可能か？

主な発見

• 提案された誤差バウンドは、証明可能なタイトさを持つ。つまり、同形式の他のバウンドよりも一貫して良くはならない。
• 誤差バウンドの正確な最小化はNP完全である。これにより、最適化問題の理論的難易度が明確に示された。
• 本フレームワークは、任意の対称なサブモジュラー関数を許容することで、先行研究のグラフカットに基づくバウンドを一般化している。
• 対称化により、非対称なサブモジュラー関数に対しても対応可能となり、適用範囲が広がった。
• 実データを用いた実証的結果から、異なるサブモジュラー関数の選択に対しても本手法の有効性が示された。
• 理論的枠組みは、敵対的ラベル割り当てに対しても成り立つ決定論的バウンドを提供している。