[論文レビュー] Efficient Graph-Based Active Learning with Probit Likelihood via Gaussian Approximations

Kevin Miller, Hao Li+1 more|arXiv (Cornell University)|Jul 21, 2020

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、非ガウス型ベイジアンモデルにおけるグラフベースの半教師付き学習のための、効率的なグラフベースのアクティブラーニングフレームワークを提案する。非ガウス型の事後分布をガウス分布で近似することで、計算が効率的な獲得関数（例：アンテナ型やモデル変化）の使用が可能となり、正確な再訓練と比較して著しく低い計算コストで競争力のある性能を達成した。特に合成データおよび実世界のデータセットにおけるProbitモデルやガウスモデルでその有効性が示された。

ABSTRACT

We present a novel adaptation of active learning to graph-based semi-supervised learning (SSL) under non-Gaussian Bayesian models. We present an approximation of non-Gaussian distributions to adapt previously Gaussian-based acquisition functions to these more general cases. We develop an efficient rank-one update for applying "look-ahead" based methods as well as model retraining. We also introduce a novel "model change" acquisition function based on these approximations that further expands the available collection of active learning acquisition functions for such methods.

研究の動機と目的

• グラフベースの半教師付き学習における非ガウス型ベイジアンモデルのための、効率的なアクティブラーニング手法の不足に応える。
• 従来ガウス型モデルに限定されていたガウスベースの獲得関数を、より現実的であるプロビットモデルなどの非ガウス型モデルにも適用可能にする。
• 完全な再訓練なしに、モデル再訓練およびアンテナ型クエリの近似を実現する計算効率の良いランク1更新手法を開発する。
• 非ガウス型設定におけるクエリ選択の改善を目的とした、ガウス近似に基づく新しい「モデル変化」獲得関数を導入する。
• これらの近似が、合成データおよび実世界のデータセットにおいて正確な再訓練と比較して、顕著な高速化を実現しながらも、競争力ある精度を達成することを実証する。

提案手法

• 非ガウス型事後分布（例：プロビットモデル）をガウス近似に変換するため、ラプラシアンおよびニュートン近似を用いる。これにより、計算が効率的に行える。
• 新しい点をクエリした後の事後分布の平均および共分散の変化を、完全な再訓練を避けるためにランク1更新を適用して効率的に計算する。
• 近似事後分布を用いて、『アンテナ型』や『モデル変化』などの獲得関数を定式化する。
• 近似事後分布の負の対数尤度を用いてモデル変化獲得関数を定義し、モデル適合度の期待改善を測定する。
• 精度と計算コストのバランスを取るために、モンテカルロ（MC）サンプリングを用いて期待リスクおよびモデル変化を推定する。
• テストデータ上で完全な再訓練結果と比較することで、近似の品質を検証する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの半教師付き学習における非ガウス型ベイジアンモデルは、従来ガウス型モデルに限定されていた効率的なアクティブラーニング獲得関数をサポートできるか？
• RQ2 プロビットモデルのような非ガウス型モデルにおいて、ガウス近似は、アクティブラーニングの文脈で真の事後分布をどれほど正確に表現できるか？
• RQ3 ランク1更新戦略は、アクティブラーニング中の完全なモデル再訓練の代替として、計算的に効率的か？
• RQ4 提案された「モデル変化」獲得関数は、非ガウス型設定において、従来の不確実性ベースおよびマージンベースの手法を上回る性能を示せるか？
• RQ5 提案された近似手法は、合成データおよび実世界のデータセットにおいて、正確な再訓練と比較して精度と速度の両面で優れているか？

主な発見

• 提案されたガウス近似手法により、プロビットモデルのような非ガウス型モデルにおいても、アンテナ型およびモデル変化獲得関数の計算が効率的に行えるようになった。
• 図3に示すように、NA（新規近似）による事後分布の平均および共分散の更新は、完全な再訓練の結果と非常に近い結果を示しており、近似の品質が妥当であることが裏付けられた。
• チェッカーボードデータセットでは、プロビットおよびGRモデルにおけるMCベースの獲得関数が、MBRおよびVOpt手法を上回る最高の精度を達成した。
• MNISTデータセットでは、MBR手法が最高の精度を達成したが、計算コストが高かった。一方、MCベースの手法は著しく低いコストで優れた性能を発揮した。
• モデル変化獲得関数は、競争力ある性能を示し、非ガウス型設定におけるアクティブラーニングのための新たな有効な選択肢を提供した。
• ランク1更新戦略により、高速な推論およびクエリ選択が可能となり、完全な再訓練なしに大規模データセットへのスケーラビリティが実現された。