[論文レビュー] Bayesian Batch Active Learning as Sparse Subset Approximation

Robert Pinsler, Jonathan Gordon+2 more|arXiv (Cornell University)|Aug 6, 2019

Machine Learning and Algorithms参考文献 45被引用数 43

ひとこと要約

ACS-FWを紹介する。これは、Frank-Wolfe最適化とランダム投影を用いて完全データ後方分布をスパースなサブセットで近似し、多様で情報量の多いバッチを構築するベイジアンなバッチアクティブラーニング手法である。

ABSTRACT

Leveraging the wealth of unlabeled data produced in recent years provides great potential for improving supervised models. When the cost of acquiring labels is high, probabilistic active learning methods can be used to greedily select the most informative data points to be labeled. However, for many large-scale problems standard greedy procedures become computationally infeasible and suffer from negligible model change. In this paper, we introduce a novel Bayesian batch active learning approach that mitigates these issues. Our approach is motivated by approximating the complete data posterior of the model parameters. While naive batch construction methods result in correlated queries, our algorithm produces diverse batches that enable efficient active learning at scale. We derive interpretable closed-form solutions akin to existing active learning procedures for linear models, and generalize to arbitrary models using random projections. We demonstrate the benefits of our approach on several large-scale regression and classification tasks.

研究の動機と目的

• 高いラベリングコストの下で、監視モデルを改善するために大量 unlabeled data を活用する。
• 高度に相関のあるバッチクエリを防ぎ、スケーラブルなバッチアクティブラーニングを可能にする。
• 線形およびプロビットモデルの閉形式の洞察を提供し、射影を介して任意のモデルへ一般化可能なアプローチを提供する。

提案手法

• バッチ構築を、期待完全データ対数事後分布のスパースサブセット近似として定式化する。
• 0-1バッチ選択を制約付きの非負重みベクトルへ緩和し、ヒルベルト空間でFrank-Wolfeを通じて解く。
• L_m(θ)を各点の対数尤度寄与とエントロピー項として定義し、重み付き和を最適化して完全プール寄与を近似する。
• データ点間の類似性を内積で符号化する。2つの具体的な選択肢：重み付きFisher内積と重み付きユークリッド内積。
• 重み付きFisher内積設定における線形およびプロビット回帰の解析的閉形式解を提供する。
• 大規模プールサイズに計算を拡張可能な計算を保つため、ランダム特徴投影を用いて非線形モデルへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 提案されたACS-FW法は、標準的なバッチAL戦略に典型的な高度に相関したバッチクエリを回避するか。
• RQ2 小データ領域でACS-FWは貪欲なバッチAL法と競合するか。
• RQ3 ACS-FWは大規模データセットと複雑なモデルへ拡張して、性能を維持または向上させつつスケールするか。

主な発見

• ACS-FWはデータ多様性を涵養する多様なバッチを生み出し、クエリの冗長性を低減する。
• 小データ領域ではACS-FWはランダムバッチングより優れ、MaxEntベースのアプローチと競合する。
• より大規模なデータセットとモデルでは、射影ベースのACS-FWは数十万の例にスケールし、ランダムおよび非確率的なベースラインを上回り、競合的なバッチAL手法と同等またはそれを超える。
• 線形およびプロビットモデルの解析表現は、既存のAL手法との関連と直感的なレバレージ量を示唆する。
• ランダム投影は、任意の扱える尤度に対してバッチ構築のモデル非依存でスケーラブルな近似を可能にする。
• 回帰と分類タスクにおける実証結果は、データ効率の良い学習とスケーラブルな実行時性能を示す。