[論文レビュー] Prediction-Oriented Bayesian Active Learning

Freddie Bickford Smith, Andreas Kirsch+4 more|arXiv (Cornell University)|Apr 17, 2023

Machine Learning and Algorithms被引用数 7

ひとこと要約

EPIGは予測に焦点を当てた取得関数であり、モデルパラメータではなく予測情報量の獲得を測定することでBALDを上回り、データセットとモデルを横断して予測性能を向上させる。

ABSTRACT

Information-theoretic approaches to active learning have traditionally focused on maximising the information gathered about the model parameters, most commonly by optimising the BALD score. We highlight that this can be suboptimal from the perspective of predictive performance. For example, BALD lacks a notion of an input distribution and so is prone to prioritise data of limited relevance. To address this we propose the expected predictive information gain (EPIG), an acquisition function that measures information gain in the space of predictions rather than parameters. We find that using EPIG leads to stronger predictive performance compared with BALD across a range of datasets and models, and thus provides an appealing drop-in replacement.

研究の動機と目的

• 予測性能をパラメータ不確実性よりも重視したアクティブラーニングの動機づけ。
• 期待予測情報量の獲得を最大化するアクイジション関数であるEPIGの導入。
• プールベースのアクティブラーニングにおけるBALDの実用的なドロップイン置換としてEPIGを示す。）
• method_note_1 colon placeholder

提案手法

• EPIGをベイズ実験計画法から、パラメータではなく予測についての情報量獲得として導出する。
• ターゲット入力分布 p*(x*) を定義し、p*(x*) からのサンプルに対する予測不確実性の期待的減少としてEPIGを導出する。
• EPIGを、予測結合分布と積の分布との間の情報量 I((x*, y*); y | x) およびKL発散として同値に表現する。
• p*(x*) のサンプルとモデルポスタリオ代理を用いたEPIGのモンテカルロ推定量を提供する。
• p*(x*) が未知の場合やプールデータのみが利用可能な場合の x* の実践的サンプリング戦略を説明する。
• 非閉形式の予測分布を持つ分類設定でのEPIGの推定スキームを概説する。

実験結果

リサーチクエスチョン

• RQ1 EPIGは未見の入力に対する正確な予測を目的とする場合、BALDより予測性能を向上させるか。
• RQ2 合成データ、UCIデータセット、MNIST様のビジョン設定において、BALDと比較してEPIGはどのような性能を示すか。
• RQ3 実務でターゲット入力分布 p*(x*) をどのように選択または近似すべきか。
• RQ4 ラベリングが制約される場合、下流ターゲット分布の知識が限られていてもEPIGは頑健か。

主な発見

• EPIGは複数のデータセットとモデルでBALDより予測性能が向上することが多い。
• ターゲット分布に対してプールに多くの関連性の薄い入力が含まれる場合、EPIGは特に有利である。
• ターゲット入力分布へのアクセスが限られていてもEPIGは競争力を保つか、上回ることがあり頑健性を示す。
• BALDはプールの端部で日和見的な入力を選択する傾向が強い一方、EPIGは予測上の関連性が高い領域に集中する。
• 合成データ、UCIデータセット、およびMNIST系の実験は、EPIGのBALD置換としての利点を示している。