[論文レビュー] Test Distribution-Aware Active Learning: A Principled Approach Against Distribution Shift and Outliers

Andreas Kirsch, Tom Rainforth+1 more|arXiv (Cornell University)|Jun 22, 2021

Machine Learning and Algorithms参考文献 32被引用数 7

ひとこと要約

本稿では、予測情報量の期待値（EPIG）およびそのバッチ対応版であるJoint EPIG（JEPIG）を基盤にした、テスト分布に配慮したアクティブラーニング（TDAAL）を提案する。従来のBALDとは異なり、モデルパラメータの不確実性を最適化するのでなく、テスト分布における予測不確実性を直接的標的としている。これにより、分布シフトや外れ値が存在する状況下でも、よりロバストかつ効率的なラベル付けが可能となり、JEPIGは標準的および分布外（OoD）の設定においてBALDを上回る性能を示す。

ABSTRACT

Expanding on MacKay (1992), we argue that conventional model-based methods for active learning - like BALD - have a fundamental shortfall: they fail to directly account for the test-time distribution of the input variables. This can lead to pathologies in the acquisition strategy, as what is maximally informative for model parameters may not be maximally informative for prediction: for example, when the data in the pool set is more dispersed than that of the final prediction task, or when the distribution of pool and test samples differs. To correct this, we revisit an acquisition strategy that is based on maximizing the expected information gained about possible future predictions, referring to this as the Expected Predictive Information Gain (EPIG). As EPIG does not scale well for batch acquisition, we further examine an alternative strategy, a hybrid between BALD and EPIG, which we call the Joint Expected Predictive Information Gain (JEPIG). We consider using both for active learning with Bayesian neural networks on a variety of datasets, examining the behavior under distribution shift in the pool set.

研究の動機と目的

• 従来のアクティブラーニング手法（例：BALD）がモデルパラメータの不確実性を最適化するのに対し、ターゲットのテスト分布における予測性能を最適化しないという限界を是正すること。
• 分布シフトや外れ値が存在する状況下で、期待予測情報量（EPIG）に基づく情報理論的獲得関数が、パrameter中心の手法よりも効果的であるかどうかを検証すること。
• EPIGのスケーラブルなバッチ獲得バージョン、すなわちJoint EPIG（JEPIG）を、深層ベイジアンニューラルネットワークに適した形で開発すること。
• EPIGおよびJEPIGの性能を、標準的アクティブラーニングおよび分布シフト下（特に分布外：OoDデータを含む状況）で評価すること。
• テスト分布における予測不確実性に注目することで、一般化性能が向上し、関係のないまたは外れ値のサンプルの獲得が減少することを示すこと。

提案手法

• アクティブラーニングの獲得関数を、予測パラメータの不確実性ではなく、テスト入力における将来の予測の不確実性の低下の期待値（EPIG）に基づいて再定式化する。
• EPIGを、テスト入力分布にわたって周辺化された予測分布 $p(y\mid x, \mathcal{D}^{\text{train}})$ に関する情報量の期待値として導出する。
• EPIGのバッチ対応バージョンとして、複数のテスト入力における予測不確実性を同時に最適化するJoint EPIG（JEPIG）を提案する。これにより、効率的なバッチ獲得が可能になる。
• EPIGおよびJEPIGスコアの計算に、モンテカルロドロップアウトと局所再パラメータ化を用いて、ベイジアンニューラルネットワークにおける事後分布の近似を効率的に行う。
• 獲得の際、テスト分布を表す別個のラベルなし評価セットを用いることで、獲得関数が現実の予測ターゲットを的確に反映することを保証する。
• 現実世界のデータにおける分布シフトに対するロバスト性を評価するため、OoD除外およびOoD露出戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 テスト分布における予測不確実性を最適化することで、特に分布シフト下において、モデルパラメータの不確実性を最適化する手法よりも優れたアクティブラーニング性能が得られるか？
• RQ2 プールセットとテストセットの分布が異なる状況下で、EPIGとBALDの予測精度およびOoDサンプルの獲得頻度はどのように比較されるか？
• RQ3 EPIGのバッチ対応版（JEPIG）は、深層学習における効率的な獲得を可能にしつつ、性能を維持できるか？
• RQ4 JEPIGがEPIGを上回る性能を示す要因は、より良い抽象化学習にあるのか、それとも評価セットの分布をより適切に扱えるようになったからなのか？
• RQ5 より大規模で代表的な評価セットを用いることで、分布シフト下における獲得戦略のロバスト性がどの程度向上するか？

主な発見

• MNISTおよびMNISTx2の標準的アクティブラーニングにおいて、JEPIGはBALDを上回り、複数回の実験で一貫した予測精度の向上を示した。
• CIFAR-10では、JEPIGはSoftmaxBALDを上回り、より深いモデルや複雑なデータセットに対しても有効であることを示した。
• 分布シフト下では、JEPIGはBALDと比較して、分布外（OoD）サンプルの獲得を顕著に低減した（例：MNISTテストセットにFashionMNISTを含む場合）、同時に精度を維持または向上させた。
• MNISTおよびFashionMNISTを用いた実験では、OoD除外およびOoD露出モードの両方において、JEPIGはOoDサンプルの選択をより少なくした。これは、より優れたロバスト性を示している。
• CIFAR-10およびSVHNにおいて、JEPIGは分布シフト下でBALDを上回った（1組の組み合わせを除く）、OoDサンプルの獲得数も少ない。
• アブレーションスタディの結果、より大きな評価セットを用いることで性能が向上した。これは、獲得戦略のロバスト性を高めるために、代表的なテスト分布を用意することが重要であることを確認した。