[論文レビュー] Graph-Based Active Learning: A New Look at Expected Error Minimization

Kwang-Sung Jun, Robert D. Nowak|arXiv (Cornell University)|Sep 3, 2016

Machine Learning and Algorithms参考文献 5被引用数 8

ひとこと要約

本稿では、2段階のガウス過程推論を用いて事後確率の周辺分布を近似することで、期待誤差最小化（EEM）における探索と活用のバランスを効率的に実現する、新しいグラフベースのアクティブラーニング手法TSA（Two-Step Approximation）を提案する。TSAは1クエリあたりO(n²)の計算量を実現し、合成データおよび実世界のデータセットにおいてZLGとSOptを上回る最先端の性能を達成しており、従来の近似手法に内在する探索・活用の不均衡を是正する。

ABSTRACT

In graph-based active learning, algorithms based on expected error minimization (EEM) have been popular and yield good empirical performance. The exact computation of EEM optimally balances exploration and exploitation. In practice, however, EEM-based algorithms employ various approximations due to the computational hardness of exact EEM. This can result in a lack of either exploration or exploitation, which can negatively impact the effectiveness of active learning. We propose a new algorithm TSA (Two-Step Approximation) that balances between exploration and exploitation efficiently while enjoying the same computational complexity as existing approximations. Finally, we empirically show the value of balancing between exploration and exploitation in both toy and real-world datasets where our method outperforms several state-of-the-art methods.

研究の動機と目的

• 正確なEEM計算が計算的に非効率であるため、既存のEEMに基づくアクティブラーニング手法における探索と活用の不均衡を是正すること。
• 最適な探索と活用の理論的利点を維持しつつ、計算的に効率的なEEMの近似を構築すること。
• 正確なEEMと同等の性能を達成しながら、既存の近似手法のスケーラビリティを保ち続ける手法を提案すること。
• トロイと実世界のグラフデータにおいて、バランスの取れた探索と活用が優れたアクティブラーニング性能をもたらすことを実証的に検証すること。

提案手法

• TSAは、2段階のプロセスを用いて、P(Y_i = 1 | Y_l = y_l)の事後周辺確率を近似する。まず、GRFモデルにおけるガウス過程の事後平均を用いて、未ラベルノードのソフトラベルを補完する。
• 次に、観測済みラベルと補完されたソフトラベルの両方を用いてノードkの事後平均を計算し、ラベル確率のログオッズに比例する決定値f_kを形成する。
• 各候補ノードのクエリ後の期待誤差を効率的に計算するため、'ドングル'ノード技術を用いた見通しリスク近似を採用することで、EEMの高速近似を実現する。
• 初期のO(n³)の逆ラプラシアン行列計算の後、1ステップの共分散更新を用いて逆ラプラシアン行列を維持することで、1クエリあたりO(n²)の計算量を確保する。
• 最終的なクエリ選択では、決定値f_kを用いてP(Y_k = 1 | Y_l = y_l)を近似し、期待誤差を最小化するノードを選択してラベリングを行う。
• この手法は、二値マルコフ確率場（BMRF）のガウス確率場（GRF）近似に基づいており、滑らかさの事前分布を保持しつつ、計算が可能となる。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的なEEM近似は、既存の手法と比較して探索と活用のバランスをより良く実現できるか？
• RQ2 提案手法TSAは、低コストな計算量を維持しながら、ZLGおよびSOptを誤差率低減の観点で上回るか？
• RQ3 探索と活用のバランスを取ることで、グラフ構造データにおけるアクティブラーニング性能がどの程度向上するか？
• RQ4 TSAの2段階近似は、正確なEEMと比較して予測精度およびクエリ効率の観点でどの程度優れているか？

主な発見

• 線形チェーンのトロイ例では、TSAは正確なEEMと同等の0.00のテスト誤差率を達成するが、ZLGとSOptは探索または活用の不均衡によりゼロ誤差に到達できない。
• 実世界のデータセット（DBLP、CORA、CITESEER）では、TSAは初期段階のクエリ効率でSOptを上回り、後期段階ではZLGを上回る性能を示し、探索と活用のバランスの良さを裏付けている。
• TSAは、既存の近似手法と同等のO(n²)の1クエリあたりの計算量を維持しながら、先行手法の欠陥を回避することで優れた誤差低減効果を発揮している。
• 本手法の補完に基づく周辺分布近似は、GRFの事後平均と密接に結びついており、計算不能なBMRF事後分布に対する原理的かつ解釈可能な近似を提供する。
• CITESEERデータセットでは、50回の繰り返し実験すべてにおいてTSAはZLGおよびSOptを一貫して上回り、そのロバストネスと一般化性能を確認した。
• ドングルノード技術による見通しリスク計算により、正確な1ステップ共分散更新を伴うEEM近似が効率的に実現され、高い精度を維持しながらも、計算コストの増大を防いでいる。