[論文レビュー] Active Learning on Trees and Graphs

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Jan 22, 2013

Machine Learning and Algorithms参考文献 11被引用数 41

ひとこと要約

本稿では、木およびグラフにおける効率的なアクティブラーニングアルゴリズムを提案する。このアルゴリズムは、最小カットに基づく分類器を用いて、予測誤りを最小化するようにクエリノードを戦略的に選択する。クエリ数Qに対してO(n log Q)の時間計算量を達成し、定数要因の意味で最適な性能を発揮する。木のスパニングツリーを用いて一般のグラフへ拡張可能であり、任意のグラフにおけるいかなるアクティブラーニングアルゴリズムに対しても予測誤りの下界を提供する。

ABSTRACT

We investigate the problem of active learning on a given tree whose nodes are assigned binary labels in an adversarial way. Inspired by recent results by Guillory and Bilmes, we characterize (up to constant factors) the optimal placement of queries so to minimize the mistakes made on the non-queried nodes. Our query selection algorithm is extremely efficient, and the optimal number of mistakes on the non-queried nodes is achieved by a simple and efficient mincut classifier. Through a simple modification of the query selection algorithm we also show optimality (up to constant factors) with respect to the trade-off between number of queries and number of mistakes on non-queried nodes. By using spanning trees, our algorithms can be efficiently applied to general graphs, although the problem of finding optimal and efficient active learning algorithms for general graphs remains open. Towards this end, we provide a lower bound on the number of mistakes made on arbitrary graphs by any active learning algorithm using a number of queries which is up to a constant fraction of the graph size.

研究の動機と目的

• 固定クエリ予算下で、未クエリノードにおける予測誤りを最小化する木向けの効率的アクティブラーニングアルゴリズムの開発。
• アクティブラーニングにおけるクエリ数と予測誤り数の最適なトレードオフを特定すること。
• スパニングツリーを用いて木の結果を一般のグラフへ拡張し、理論的性能保証を維持すること。
• クエリ集合がグラフサイズの定数倍である場合に、任意のグラフにおけるアクティブラーニングアルゴリズムが避けられない予測誤り数の下界を確立すること。
• 真のカットサイズΦの事前知識がなくても、定数要因の意味で効率的かつ最適なクエリ選択が可能であることを示すこと。

提案手法

• グリーディで反復的なクエリ選択戦略を用い、既存のクエリノードへの辺素パス数を増加させる「フォークノード」を特定・追加する。
• 未クエリノードへの接続性向上の潜在的寄与に基づき、次回のクエリノードを効率的に選択するための優先度デックを維持する。
• 予測フェーズでは、ヘッジツリー（1-および2-ヘッジ部分木）の深さ優先走査を用い、クエリノードからラベルを伝搬し、各未クエリノードに最も近いクエリノードのラベルを割り当てる。
• 未クエリノードのラベル予測に最小カット分類器を用い、全グラフにおける総カットサイズを最小化する。
• 木の構造的性質を活用し、予測誤りの削減能力に関連する関数Ψ(L)を効率的に計算・最大化する。
• 一般のグラフに対しては、スパニングツリーを代理として用い、理論的分析によりスパニングツリー上で良いクエリ集合が得られれば、元のグラフでも良好な性能が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 固定クエリ予算下で、未クエリノードにおける誤り数を最小化するようにクエリを木に配置する最適な配置は何か？
• RQ2 アクティブラーニングアルゴリズムは、木におけるクエリ数と予測誤り数の最適なトレードオフを達成できるか？
• RQ3 スパニングツリーを用いて、木の結果を一般のグラフへどのように拡張できるか？
• RQ4 クエリ集合が頂点数の定数倍である場合に、任意のグラフにおけるアクティブラーニングアルゴリズムが避けられない予測誤り数の根本的下界は何か？
• RQ5 木において、Ψ(L)を定数要因の意味で最大化するクエリ集合を効率的に計算可能か？

主な発見

• 提案されたクエリ選択アルゴリズムは、nノードの木においてQクエリに対してO(n log Q)の時間で実行され、非常に効率的である。
• 真のカットサイズΦの事前知識がなくても、未クエリノードにおける誤り数を定数要因の意味で最適に抑えることができる。
• 最小カット分類器と組み合わせることで、誤り数がΦ/Ψ(L)で抑えられ、この上限は定数要因の意味でタイトである。
• アルゴリズムの修正版は、固定クエリ予算がなくても、定数要因の意味で木におけるクエリ数と誤り数の最適なトレードオフを達成する。
• 一般のグラフに対しては、クエリ集合がグラフサイズの定数倍である場合に、任意のアクティブラーニングアルゴリズムが、有効抵抗で重み付けられたカットサイズの定数倍の誤り数を避けられないことを示す下界を確立した。
• スパニングツリーを用いて一般のグラフへアルゴリズムを拡張可能であるが、スパニングツリーの選択が性能に顕著に影響することを示唆しており、ランダムなスパニングツリーではクラスタ構造が保たれない可能性がある。