[論文レビュー] S2: An Efficient Graph Based Active Learning Algorithm with Application to Nonparametric Classification

Gautam Dasarathy, Robert D. Nowak+1 more|arXiv (Cornell University)|Jun 29, 2015

Machine Learning and Algorithms参考文献 16被引用数 11

ひとこと要約

本稿では、任意の反対符号ラベル付き頂点ペair間の最短経路の中点を特定することで、ラベルなし頂点のラベリングを同定する、新しいグラフベースのアクティブラーニング手法S²を提案する。S²は、ボックスカウントクラスに属する意思決定境界を有する非パラメトリック分類問題において、ほぼミニマックス最適な超過リスクを達成し、理論的保証と実データ・合成データにおける実用的性能の両方を提供する。

ABSTRACT

This paper investigates the problem of active learning for binary label prediction on a graph. We introduce a simple and label-efficient algorithm called S2 for this task. At each step, S2 selects the vertex to be labeled based on the structure of the graph and all previously gathered labels. Specifically, S2 queries for the label of the vertex that bisects the *shortest shortest* path between any pair of oppositely labeled vertices. We present a theoretical estimate of the number of queries S2 needs in terms of a novel parametrization of the complexity of binary functions on graphs. We also present experimental results demonstrating the performance of S2 on both real and synthetic data. While other graph-based active learning algorithms have shown promise in practice, our algorithm is the first with both good performance and theoretical guarantees. Finally, we demonstrate the implications of the S2 algorithm to the theory of nonparametric active learning. In particular, we show that S2 achieves near minimax optimal excess risk for an important class of nonparametric classification problems.

研究の動機と目的

• ラベル付けが高コストであるグラフ上の二値ラベル予測のアクティブラーニングにおいて、クエリコストを最小化する課題に対処すること。
• 理論的性能保証と強力な実験的結果を両立する実用的なアクティブラーニング手法を開発すること。
• 理論的に最適だが実用的でない手法と、実験的に有効だが保証のない手法（例：Zhu et al. (2003b)）の間のギャップを埋めること。
• 単なるカットサイズを越えて、グラフ上でのカットセット学習の本質的難易度を捉える新しい複雑度測度を導入すること。
• S²が、広範な非パラメトリック分類問題のクラスにおいて、ほぼミニマックス最適な超過リスクを達成することを示すこと。

提案手法

• S²は、グラフ内に存在する任意の反対符号ラベル付き頂点ペア間の最短経路の中点として、ラベルを付与すべき頂点を選択する。
• アルゴリズムはグラフ構造と変化するラベルパターンに動的に適応し、意思決定境界が最も不確実な領域に集中する。
• 境界学習の難易度を定量化する、カットセットのクラスタリングおよび分布に基づく新しい複雑度パrameterizationを用いる。
• 理論的分析により、この複雑度測度を用いてS²が要するクエリ数の上限を導出し、正則性条件下でのクエリ効率性を示す。
• 最短経路計算とグラフ走査を活用して、全ラベル情報が事前に分かっていなくても、情報量の多い頂点を効率的に同定する。
• アルゴリズムは合成グリッドと実世界データ（数字、投票記録）に適用され、境界セットをカバーするために必要なクエリ数を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのアクティブラーニング手法は、実験的性能と理論的クエリ複雑度保証の両方を達成できるか？
• RQ2 カットセットのクラスタリングは、グラフ上での二値ラベル付けの学習難易度にどのように影響するか？
• RQ3 実用的なアクティブラーニング手法は、非パラメトリック分類問題においてほぼミニマックス最適な超過リスクを達成できるか？
• RQ4 S²は、AFS、ZLG、BNDといった既存手法と比較して、実データおよび合成グラフ上でのクエリ効率性においてどのように差をつけるか？
• RQ5 意思決定境界の幾何的構造と、その境界を学習するために必要なクエリ数の関係は何か？

主な発見

• S²は、15×15グリッドおよび実世界データ（数字、投票記録など）を含む全テストデータセットにおいて、AFS や BND よりも顕著にクエリ複雑度で優れている。
• 15×15グリッドグラフでは、S²は境界をカバーするために平均88.8クエリで十分であり、AFSは160.4、BNDは192であった。
• 400ノードの4対9の数字分類タスクでは、S²は96.4クエリを要し、AFS（223.2）やBND（370.2）を上回った。
• 高境界サイズの457コアグリッドでは、S²は290.6クエリを要したが、ZLG（292.3）をわずかに上回った。ZLGはこの目的に最適化されていないにもかかわらずである。
• 理論的分析により、S²の超過リスクは最大で $ C\left(\frac{\log n}{n}\right)^{\frac{1}{d-1}} $ であることが示され、ボックスカウントクラスの意思決定境界に対してほぼミニマックス最適である。
• S²は、ボックスカウントクラスに属する意思決定境界を有する非パラメトリック分類問題において、最小マックス最適（対数要因を除き）の超過リスクを達成する最初の実用的アルゴリズムである。