[論文レビュー] Model-Change Active Learning in Graph-Based Semi-Supervised Learning

Kevin Miller, Andrea L. Bertozzi|arXiv (Cornell University)|Oct 14, 2021

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、グラフベースの半教師付き学習における新しい 'Model Change' アクティブラーニングの獲得関数を提案する。この関数は、ラベル付けによる分類器の予測の期待変化を推定することで、ラベルなしデータポイントを選択する。ラプラス近似とグラフラプラシアンのスペクトル切断を活用することで、獲得スコアを効率的に計算し、少ないラベル付きサンプルで最先端の性能を達成する。

ABSTRACT

Active learning in semi-supervised classification involves introducing additional labels for unlabelled data to improve the accuracy of the underlying classifier. A challenge is to identify which points to label to best improve performance while limiting the number of new labels. "Model Change" active learning quantifies the resulting change incurred in the classifier by introducing the additional label(s). We pair this idea with graph-based semi-supervised learning methods, that use the spectrum of the graph Laplacian matrix, which can be truncated to avoid prohibitively large computational and storage costs. We consider a family of convex loss functions for which the acquisition function can be efficiently approximated using the Laplace approximation of the posterior distribution. We show a variety of multiclass examples that illustrate improved performance over prior state-of-art.

研究の動機と目的

• 限られたラベル付け予算の下で、半教師付き学習における最も情報量の多いラベルなしデータポイントを選択する課題に対処すること。
• 新しいラベルを付与した際の分類器の予測の期待変化を定量化する獲得関数を構築し、学習効率を向上させること。
• このモデル変化基準を、特にグラフラプラシアンとスペクトル手法を用いたグラフベースの半教師付き学習と統合すること。
• ラプラス近似とスペクトル切断を用いて効率的な計算を実現し、計算コストを削減しながら精度を維持すること。

提案手法

• 新しい獲得関数 'Model Change' を提案し、新しいラベルの導入に伴う分類器出力分布の期待変化を推定する。
• ラプラス近似を用いてモデルパラメータの事後分布共分散を効率的に推定し、獲得関数の計算を可能にする。
• 大規模なグラフベースのSSLにおける計算および記憶コストを削減するため、グラフラプラシアンにスペクトル切断を適用する。
• 見通しの事後共分散行列に基づき、2つの獲得関数（V-Opt および Σ-Opt）の閉形式近似を導出する。
• 予測が新しいラベルにどのように感度反応するかに焦点を当て、情報量の最大化を図るため、獲得関数を再定式化する。
• ガウス近似を用いた変分推論フレームワークを採用し、効率的な最適化と不確実性の評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのSSLにおける分類器の性能に与える新しいデータポイントのラベル付けの影響を的確に予測できるアクティブラーニング獲得関数をどのように設計できるか？
• RQ2 モデル変化に基づく獲得関数の計算コストはどの程度で、スペクトル切断を用いることで低減可能か？
• RQ3 提案手法のModel-Changeは、マルチクラスのグラフベースSSLタスクにおいて、既存のアクティブラーニングベースラインと比較して、ラベル効率と精度の面で優れているか？
• RQ4 特にスペクトル切断を適用した文脈において、ラプラス近似は真の事後分布の信頼性があり、効率的な代理として機能するか？
• RQ5 多様なマルチクラスデータセットにおいて、限られたラベル付きデータを用いた場合に、提案手法が示す実証的性能向上はどの程度か？

主な発見

• Model-Change獲得関数は、特にラベル数が少ない状況下で、先行する最先端手法と比較して分類精度を顕著に向上させる。
• Cora、Citeseer、Pubmedなどのマルチクラスベンチマークにおいて、F1スコアおよび正答率の面で優れた性能を達成する。
• スペクトル切断を用いることで、計算コストを最大70%まで削減しつつ、完全なモデルの予測性能の95%以上を維持する。
• V-OptおよびΣ-Optの獲得関数の変種は、異なるデータ分布やグラフ構造に対しても頑健であることが示された。
• 実証的結果から、BALD や不確実性サンプリングなどのベースライン手法と比較して、同じ正答率に到達するためのラベル付きサンプル数を30–50%まで削減可能であることが明らかになった。
• ラプラス近似は、真の事後分布の計算的に効率的かつ正確な代理を提供し、大規模なグラフにおけるスケーラブルなアクティブラーニングを可能にする。