[論文レビュー] Deep Bayesian Active Learning, A Brief Survey on Recent Advances

Salman Mohamadi, Hamidreza Amindavar|arXiv (Cornell University)|Dec 15, 2020

Machine Learning and Algorithms参考文献 25被引用数 8

ひとこと要約

このサーベイは、不確実性をモデル化し、データの標本効率を向上させるためにベイジアン推論とディープニューラルネットワークを統合する手法に焦点を当てた、最近のディープベイジアンアクティブラーニングの進展をレビューしている。モンテカルロドロップアウト、変分推論、予測エントロピーおよび相互情報量に基づくアセスメント関数といった技術を活用することで、最小限のラベル付きデータで高い精度を達成し、複数のベンチマークで非ベイジアン手法を上回っている。

ABSTRACT

Active learning frameworks offer efficient data annotation without remarkable accuracy degradation. In other words, active learning starts training the model with a small size of labeled data while exploring the space of unlabeled data in order to select most informative samples to be labeled. Generally speaking, representing the uncertainty is crucial in any active learning framework, however, deep learning methods are not capable of either representing or manipulating model uncertainty. On the other hand, from the real world application perspective, uncertainty representation is getting more and more attention in the machine learning community. Deep Bayesian active learning frameworks and generally any Bayesian active learning settings, provide practical consideration in the model which allows training with small data while representing the model uncertainty for further efficient training. In this paper, we briefly survey recent advances in Bayesian active learning and in particular deep Bayesian active learning frameworks.

研究の動機と目的

• ベイジアンアクティブラーニングにおける理論的および応用的進展、特にディープラーニング環境における最近の進展をサーベイすること。
• 従来のアクティブラーニングを制限するディープラーニングにおけるモデルの不確実性表現の課題に取り組むこと。
• ベイジアン推論が、高い予測不確実性推定を可能にし、データが少ない状況でも効率的な訓練を実現できることを検証すること。
• ラベル付けに適した情報を含むサンプルを選択するためのアセスメント関数（例：エントロピー、相互情報量）の比較を行うこと。
• ベイジアンディープラーニングとアクティブラーニングの統合が、標本効率と耐性の向上に寄与することを強調すること。

提案手法

• ディープネットワークにおける事後分布の近似としてモンテカルロドロップアウトを用い、再訓練なしに不確実性推定を可能にする。
• ネットワーク重みにおけるパラメータの不確実性をモデル化するため、変分推論とベイジアン事前分布を用いる。
• 予測エントロピー、ばらつき比、相互情報量などのアセスメント関数を適用し、最も情報を含む未ラベル付きサンプルを同定する。
• 疑似ラベル付けと期待値最大化を用いて、ベイジアンアクティブラーニングと半教師ありラーニングを統合する。
• 計算コストが低く抑えられるガウス過程ベースのフレームワークを用いて、不確実性を考慮した分類を実現する。
• 発散に基づく効用関数を用いた、クエリ効率の良い事後分布近似を提案する。

実験結果

リサーチクエスチョン

• RQ1 ディープアクティブラーニングにおいて、ベイジアンディープラーニングはどのようにしてモデルの不確実性を効果的に表現できるか？
• RQ2 ディープアクティブラーニングにおいて、情報を含むサンプルを選択するのに最も効果的なアセスメント関数は何か？
• RQ3 不確実性に配慮したサンプリングにより、ベイジアンニューラルネットワークは最小限のラベル付きデータで高い精度を達成できるか？
• RQ4 標本効率とパフォーマンスの観点から、ベイジアンアクティブラーニングと半教師ありラーニングはどのように比較できるか？
• RQ5 アクティブラーニングにおける完全なベイジアン推論とドロップアウトなどの近似手法（例：ドロップアウト）の間には、どのような計算上のトレードオフがあるか？

主な発見

• ディープベイジアンアクティブラーニングは、自然言語処理およびビジョンの複数のタスクにおいて、非ベイジアンベースラインを一貫して上回っている。
• モンテカルロドロップアウトは、ディープネットワークにおけるベイジアン推論の実用的で効果的な近似を提供する。
• 予測エントロピーおよび相互情報量に基づくアセスメント関数は、少ないラベル付きサンプルで収束が速く、より高い精度を達成する。
• ベイジアン距離メトリック学習により、効率的なペア選択が可能になり、小規模データセットでのパフォーマンスが向上する。
• 畳み込みニューラルネットワークの最終層にのみベイジアン事前分布を適用することで、モデルの不確実性を効果的に捉えつつ、計算効率を維持できる。
• 疑似ラベル付けを介してベイジアンアクティブラーニングと半教師ありラーニングを統合することで、パフォーマンスが向上し、ラベル付けコストが削減される。