[論文レビュー] A General Framework for Robust Interactive Learning

Ehsan Emamjomeh-Zadeh, David Kempe|arXiv (Cornell University)|Oct 16, 2017

Machine Learning and Algorithms参考文献 22被引用数 7

ひとこと要約

本論文は、ノイズのあるフィードバック下でのロバストなインタラクティブな学習のための一般枠組みを提示する。ユーザーは確率p > 1/2で提案されたモデルを修正する。モデルをグラフのノードとしてモデル化し、エッジが有効なフィードバックを反映するようにすることで、ノイズが存在してもO(log N)クエリで真のモデルに収束することが保証される。これは、分類、順序付け、クラスタリングの古典的結果を最小限のアルゴリズム再設計で一般化するものである。

ABSTRACT

We propose a general framework for interactively learning models, such as (binary or non-binary) classifiers, orderings/rankings of items, or clusterings of data points. Our framework is based on a generalization of Angluin's equivalence query model and Littlestone's online learning model: in each iteration, the algorithm proposes a model, and the user either accepts it or reveals a specific mistake in the proposal. The feedback is correct only with probability $p > 1/2$ (and adversarially incorrect with probability $1 - p$), i.e., the algorithm must be able to learn in the presence of arbitrary noise. The algorithm's goal is to learn the ground truth model using few iterations. Our general framework is based on a graph representation of the models and user feedback. To be able to learn efficiently, it is sufficient that there be a graph $G$ whose nodes are the models and (weighted) edges capture the user feedback, with the property that if $s, s^*$ are the proposed and target models, respectively, then any (correct) user feedback $s'$ must lie on a shortest $s$-$s^*$ path in $G$. Under this one assumption, there is a natural algorithm reminiscent of the Multiplicative Weights Update algorithm, which will efficiently learn $s^*$ even in the presence of noise in the user's feedback. From this general result, we rederive with barely any extra effort classic results on learning of classifiers and a recent result on interactive clustering; in addition, we easily obtain new interactive learning algorithms for ordering/ranking.

研究の動機と目的

• 分類器、順序付け、クラスタリングなどのモデルのインタラクティブな学習のための一般的でクエリ効率の良い枠組みを開発すること。
• 正解フィードバックが確率p > 1/2で発生するノイズのあるユーザーフィードバックの下での学習の課題に対処すること。
• 既存のインタラクティブな学習の結果（例えば、分類、クラスタリング）を、単一の理論的枠組みで統一すること。
• インタラクティブな順序付け／順序付けの分野を含む、新たな分野への枠組みの拡張を図ることで、クエリ効率を保証すること。

提案手法

• すべての候補モデルを、エッジが有効なユーザーフィードバックを反映する重み付きグラフGのノードとして表現する。
• 鍵となる構造的仮定（*）を課す：ユーザが与える正しいフィードバックは、現在のモデルからターゲットモデルへの最短経路上に存在しなければならない。
• モデルの乗法的重み更新アルゴリズムを適用し、フィードバックの整合性に基づいて重みを更新する。
• 誤ったモデルの総重みが各反復で定数倍減少することを、グラフ構造を用いて保証する。
• グラフの最短経路性質を活用することで、ノイズ下でもO(log N)クエリで収束を保証する。
• 適切なグラフ構造（例：隣接交換にはバブルソートグラフ、ブロック再配置には挿入ソートグラフ）を定義することで、異なる分野に枠組みを適応させる。

実験結果

リサーチクエスチョン

• RQ1 分類器、順序付け、クラスタリングを含む多様なモデルタイプにわたるインタラクティブな学習のための統一枠組みを開発可能か？
• RQ2 正解フィードバックが確率p > 1/2で発生するノイズのあるユーザーフィードバックに対して、学習がどのようにしてロバストに保たれるか？
• RQ3 インタラクティブな学習において、効率的収束を保証するために必要なグラフ理論的性質は何か？
• RQ4 本枠組みは、クエリ効率を保証する条件下で、インタラクティブな順序付けの問題に適用可能か？
• RQ5 適切な学習と不適切な学習の設定における、計算複雑性とクエリ複雑性のトレードオフは何か？

主な発見

• フィードバックがノイズレスの場合、真のモデルへの収束がO(log N)クエリで保証される。ここでNは候補モデルの数である。
• ノイズのあるフィードバック（正解確率p > 1/2）下でも、クエリ数はO(log N)に滑らかに増加し、定数はpに依存する。
• n個のアイテムのインタラクティブな順序付けでは、O(n log n)クエリを達成する。これは同等クエリモデル下で最適である。
• VC次元dの二値分類では、先行研究のO(d² log n)クエリ境界を再現し、本枠組みの一般性を確認する。
• クラスタリングにおける適切な学習では、O(log d)のオーバーヘッドに制限されるクエリコストの増加が示され、クエリコストの理論的限界を示唆する。
• 本枠組みは非一様ノイズモデルへも拡張可能であるが、そのような拡張には注意深いパrameter化と表記法の定義が必要である。