[論文レビュー] Average-Case Active Learning with Costs

Andrew Guillory, Jeff Bilmes|ArXiv.org|May 18, 2009

Machine Learning and Algorithms参考文献 9被引用数 16

ひとこと要約

本稿では、任意のクエリコストを想定した平均的状況下でのアクティブラーニングの一般化フレームワークを提案する。グリーディなアクティブラーニングを非一様コスト、多クラスおよび部分ラベル、バッチクエリへと拡張する。コスト感受性のあるグリーディアルゴリズムが最適期待コストに対する定数倍近似を提供することを証明し、アクティブラーニング、情報検索、圧縮の応用分野に一般化される結果を得た。

ABSTRACT

We analyze the expected cost of a greedy active learning algorithm. Our analysis extends previous work to a more general setting in which different queries have different costs. Moreover, queries may have more than two possible responses and the distribution over hypotheses may be non uniform. Specific applications include active learning with label costs, active learning for multiclass and partial label queries, and batch mode active learning. We also discuss an approximate version of interest when there are very many queries.

研究の動機と目的

• クエリに非一様コストが存在する状況、すなわちラベルコスト、部分ラベル、バッチクエリを含む設定において、グリーディなアクティブラーニングを拡張すること。
• 一般のクエリコストモデル下でのアクティブラーニングの平均的期待コストを分析すること。
• 期待コストを最小化する文脈において、グリーディアルゴリズムの性能に対する理論的保証を確立すること。
• 共通のコスト最小化フレームワークとして、アクティブラーニング、情報検索、圧縮を統合すること。

提案手法

• 各仮説（対象）を関連するコストを持つクエリの系列によって特定する質問の提示ゲームとしてアクティブラーニングを形式化する。
• 内部ノードがクエリに対応し、各リーフへのパスが一意な仮説に対応するクエリツリーの構築として問題をモデル化する。
• 現在の仮説に関する事後分布に基づき、期待コスト低減量を最小化するクエリを選択するグリーディ戦略を用いる。
• 線形計画法からの分数解を有効なクエリツリーに変換するためのラウンド化技術を適用し、定数倍近似を保証する。
• 仮説上の非一様事前分布および任意のクエリコスト構造を扱うために分析を一般化する。
• トップダウン的グリーディコード構築および検索ツリーにおける期待コストの境界を導出し、一般の分割ルール下での近似保証を示す。

実験結果

リサーチクエスチョン

• RQ1 クエリに任意の非一様コストが存在する場合、グリーディなアクティブラーニングアルゴリズムが最適期待コストに対する定数倍近似を達成できるか？
• RQ2 多クラスラベル、部分ラベルクエリ、またはバッチクエリの設定において、グリーディアルゴリズムの性能はどのようにスケーリングするか？
• RQ3 グリーディアクティブラーニングの理論的保証を非一様事前分布および一般のコスト構造へ拡張可能か？
• RQ4 異なる応用分野において、期待コード長および検索時間の観点から、グリーディアルゴリズムの近似比はどの程度か？

主な発見

• グリーディアルゴリズムは、仮説の数に依存しないが、クエリコスト構造に依存する定数倍近似を最適期待コストに対して達成する。
• 変動する応答コストを持つクエリとしてモデル化することにより、多クラスおよび部分ラベルクエリへフレームワークを一般化できる。
• バッチモードのアクティブラーニングにおいて、コストが適切にモデル化されていれば、グリーディ戦略は他の任意の決定的バッチクエリ戦略と同等に動作する。
• 情報検索の文脈では、グリーディクエリツリー構築により、最適解の定数倍以内の期待検索時間を達成する検索構造が得られる。
• 圧縮の文脈では、トップダウン的グリーディコード構築により、最適解の定数倍以内の期待コード長が達成され、先行研究の境界を一般化する。
• 分析により、非一様事前分布および任意のクエリコストが存在する場合でも、グリーディ手法が強力な理論的性能保証を維持することが示された。