[論文レビュー] A Linear Time Active Learning Algorithm for Link Classification

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Dec 3, 2012

Machine Learning and Algorithms参考文献 13被引用数 4

ひとこと要約

この論文は、2つのクラスタ構造の周囲におけるエッジラベルの確率的摂動モデルを活用して、符号付きネットワークにおけるリンク分類の線形時間アクティブラーニングアルゴリズムを提案する。O(|V|^{3/2})のエッジラベルを問い合わせるだけで、近似的に最適な性能（定数倍要因内）を達成し、総実行時間はO(|E| + |V| log |V|)であるため、大規模ネットワークにおいて非常に効率的である。

ABSTRACT

We present very efficient active learning algorithms for link classification in signed net-works. Our algorithms are motivated by a stochastic model in which edge labels are ob-tained through perturbations of a initial sign assignment consistent with a two-clustering of the nodes. We provide a theoretical analysis within this model, showing that we can achieve an optimal (to whithin a constant factor) number of mistakes on any graph G = (V,E) such that |E | = Ω(|V |3/2) by querying O(|V |3/2) edge labels. More generally, we show an algorithm that achieves optimality to within a factor of O(k) by querying at most order of |V | + (|V |/k)3/2 edge labels. The running time of this algorithm is at most of order |E|+ |V | log |V |.

研究の動機と目的

• 必要なエッジラベル問い合わせ数を最小限に抑える、符号付きネットワークにおけるリンク分類の効率的なアクティブラーニングアルゴリズムの開発を目的とする。
• 2つのクラスタ構造に基づくノード構造の周囲におけるエッジラベルの確率的摂動モデル内で、アルゴリズムの性能を理論的に分析することを目的とする。
• |E| = Ω(|V|^{3/2})のエッジを持つグラフにおいて、誤り数の境界が定数倍要因内で近似的に最適になるようにすることを目的とする。
• スケーラブルなアルゴリズムを設計し、線形時間の計算量を確保することで、大規模ネットワークへの実用的適用を可能とすることを目的とする。

提案手法

• アルゴリズムは、エッジラベルが初期の2クラスタ構造に整合する符号割り当てからの摂動を仮定する確率的モデルに基づく。
• 不確実性の低減に基づいて、分類精度を最も高めるラベルを優先して、適応的に問い合わせ対象のエッジを選択する。
• |E| = Ω(|V|^{3/2})を満たすグラフに対して、O(|V|^{3/2})のエッジラベルを戦略的に問い合わせることで、定数倍要因内で最適性を達成する。
• 一般化されたバージョンのアルゴリズムは、最大でO(|V| + (|V|/k)^{3/2})のエッジラベルを問い合わせることで、O(k)の要因内で最適性を達成する。
• アルゴリズムの実行時間は、効率的なデータ構造とラベル選択ヒューリスティクスにより、O(|E| + |V| log |V|)で抑えられる。

実験結果

リサーチクエスチョン

• RQ1 符号付きネットワークにおけるリンク分類のアクティブラーニングアルゴリズムは、最小限のラベル問い合わせで近似的に最適な誤り数境界を達成できるか？
• RQ2 このようなネットワークにおいて、問い合わせの複雑さと性能の最適性の理論的トレードオフは何か？
• RQ3 高い分類精度を保ちながら、線形時間の効率性を維持できるか？
• RQ4 パラメータkで調整可能な要因内で、問い合わせコストと性能のバランスを取れる一般化が可能か？

主な発見

• |E| = Ω(|V|^{3/2})を満たす任意のグラフG = (V, E)において、O(|V|^{3/2})のエッジラベルを問い合わせるだけで、誤り数が定数倍要因内で最適になる。
• 一般化されたバージョンは、最大でO(|V| + (|V|/k)^{3/2})のエッジラベルを問い合わせることで、O(k)の要因内で最適性を達成する。
• アルゴリズムの総実行時間はO(|E| + |V| log |V|)で抑えられ、実用上はネットワークサイズに線形的に依存する。
• 理論的分析により、提案されたエッジラベル生成の確率的モデル下で、アルゴリズムの問い合わせ複雑度がほぼ最小であることが確認された。