[論文レビュー] Interactive Submodular Set Cover

Andrew Guillory, Jeff Bilmes|arXiv (Cornell University)|Feb 17, 2010

Machine Learning and Algorithms参考文献 19被引用数 38

ひとこと要約

本稿は、不確実性下でのサブモジュラ最適化における学習とカバーの共同最適化を新たに提唱するフレームワーク、インタラクティブサブモジュラセットカバーを紹介する。タイトな近似保証を持つグリーディアルゴリズムを提案し、同時に学習とカバーを行う戦略が、特に仮説クラスにノイズや曖昧さがある場合に、分離されたアプローチを上回ることを証明している。

ABSTRACT

We introduce a natural generalization of submodular set cover and exact active learning with a finite hypothesis class (query learning). We call this new problem interactive submodular set cover. Applications include advertising in social networks with hidden information. We give an approximation guarantee for a novel greedy algorithm and give a hardness of approximation result which matches up to constant factors. We also discuss negative results for simpler approaches and present encouraging early experimental results.

研究の動機と目的

• 初期には未知のターゲットグループをフィードバックによって特定する必要がある学習およびカバー問題に対処すること。
• サブモジュラセットカバーと正確なアクティブラーニングを統合し、学習とカバーを1つの最適化フレームワークに一般化すること。
• 理論的に裏付けられたアルゴリズムを開発し、ターゲットに関する学習とその効率的なカバーの両方をバランスよく実現すること。
• 実際の応用において、分離された学習とカバーのアプローチが、ノイズや曖昧な仮説がある場合に著しく劣ることが示されること。

提案手法

• フィードバックがターゲット仮説に関する情報を明らかにすると同時にサブモジュラカバレッジ目的を最適化する、インタラクティブサブモジュラセットカバーという新しい問題定式化を提案。
• 学習（不確実性の低減）とカバー（目的関数値の増加）の両方をバランスさせる、組み合わせ的利得指標に基づく要素選択を行う新しいグリーディアルゴリズムを導入。
• 期待されるカバレッジと不確実性低減を組み合わせた、$\bar{F}_\alpha(S)$という代理目的関数を定義。$\alpha$は両者のトレードオフを制御する。
• モジュラー費用関数と単調なサブモジュラ目的関数$F(S)$を用い、フィードバックにより選択された要素が真のターゲット仮説に属するかが明らかになる。
• グリーディ選択ルールを適用：各ステップで$\bar{F}_\alpha(S)$における利得を最大化する要素を選択し、理論的近似保証を保証。
• 理論的分析により、アルゴリズムが最良の可能性まで定数倍の要因で一致する近似比を達成することを示している。

実験結果

リサーチクエスチョン

• RQ1 未知のターゲット仮説を学習し、サブモジュラ最適化を用いて効率的にカバーする統合フレームワークを開発できるか？
• RQ2 クエリ効率の観点から、『学習してからカバー』という逐次戦略と比較して、学習とカバーを同時に実行する戦略の性能はどのように異なるか？
• RQ3 インタラクティブサブモジュラセットカバー設定において、グリーディアルゴリズムの理論的近似保証は何か？
• RQ4 複数の仮説が真のものに類似しているノイズや曖昧な仮説クラスでは、アルゴリズムの性能はどのようになるか？
• RQ5 合成ターゲットグループを含む実世界のネットワークデータにおいて、『すべてカバー』や『学習してからカバー』といったベースラインを上回ることができるか？

主な発見

• 提案されたグリーディアルゴリズムは、最良の可能性まで定数倍の要因で一致する近似比を達成し、強力な理論的保証を提供する。
• 実世界のソーシャルネットワークデータを用いた実験では、ノイズの多い仮説クラスにおいて、同時に学習とカバーを行う手法が『学習してからカバー』を上回り、後者では類似した仮説のため真のターゲットを特定できなかった。
• カバレッジ問題が支配的になる大きなデータセットでは、提案手法の性能は『学習してからカバー』に収束し、問題構造への適応性が示された。
• フィードバックが利用可能な状況では、『すべてカバー』ベースラインは提案手法よりも著しく劣り、ターゲット固有の情報を無視している。
• すべてのクラスタの和集合が小さいが学習が難しい状況では『すべてカバー』が『学習してからカバー』を上回ることもあるが、提案手法は常に両ベースラインの最良を一致または上回る。