[論文レビュー] Decomposition of Uncertainty for Active Learning and Reliable Reinforcement Learning in Stochastic Systems.

Stefan Depeweg, José Miguel Hernández-Lobato+2 more|arXiv (Cornell University)|Oct 19, 2017

Machine Learning and Algorithms参考文献 16被引用数 22

ひとこと要約

本論文は、潜在変数を有するベイジアンニューラルネットワークにおける予測不確実性を、知識的（モデル）およびアレアトリック（データ）の成分に分解する手法を提案する。この分解をアクティブラーニングおよび強化学習に活用することで、不確実性のキャリブレーションと意思決定の信頼性が向上し、不確実性を考慮したアクティブラーニングおよび頑健な強化学習ポリシーの性能が向上することを示している。

ABSTRACT

Bayesian neural networks (BNNs) with latent variables are probabilistic models which can automatically identify complex stochastic patterns in the data. We study in these models a decomposition of predictive uncertainty into its epistemic and aleatoric components. We show how such a decomposition arises naturally in a Bayesian active learning scenario and develop a new objective for reliable reinforcement learning (RL) with an epistemic and aleatoric risk element. Our experiments illustrate the usefulness of the resulting decomposition in active learning and reliable RL.

研究の動機と目的

• 潜在変数を有するベイジアンニューラルネットワークにおける予測不確実性を、知識的およびアレアトリックの成分に分解すること。
• 不確実性の分解を用いて情報量の多いデータサンプルを優先することで、より信頼性の高いアクティブラーニングを実現すること。
• 知識的およびアレアトリック不確実性の両方を明示的に考慮するリスクに配慮した強化学習の目的関数を構築すること。
• 不確実性の分解を強化学習の学習に組み込むことで、確率的環境におけるポリシーの信頼性を向上させること。
• アクティブラーニングおよび信頼性のある強化学習の文脈において、不確実性分解の有効性を実証的に検証すること。

提案手法

• データの複雑な確率的パターンをモデル化するために、潜在変数を有するベイジアンニューラルネットワークを用いる。
• ネットワーク重みおよび潜在変数の事後分布を近似するために変分推論を適用する。
• 全変動の法則を用いて、予測分散の知識的およびアレアトリック成分への分解を導出する。
• 期待報酬に加え、知識的およびアレアトリックリスク項を組み合わせた、強化学習のための新規目的関数を導入する。
• 不確実性推定値を用いて、エピステミック不確実性が大きいサンプルをラベル付けの対象として選択することで、アクティブラーニングを支援する。
• 不確実性のキャリブレーションおよびポリシーの信頼性を評価するために、確率的環境でモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数を有するベイジアンニューラルネットワークにおける予測不確実性を、どのようにして知識的およびアレアトリック成分に体系的に分解できるか？
• RQ2 不確実性の分解は、どの程度アクティブラーニングのシナリオにおけるサンプル効率を向上させるか？
• RQ3 知識的およびアレアトリック不確実性の明示的モデリングは、強化学習におけるポリシーの信頼性を向上させることができるか？
• RQ4 分布シフトに対する耐性という観点から、提案されたリスクに配慮した強化学習目的関数は、標準的な強化学習ベースラインと比較してどのように差を示すか？
• RQ5 不確実性分解は、確率的環境における不確実性のキャリブレーションおよび意思決定にどのような影響を与えるか？

主な発見

• 不確実性の分解は、ベイジアンアクティブラーニングにおいて自然に生じ、より情報量の多いデータ選択を可能にする。
• 提案された不確実性分解により、エピステミック不確実性が大きいインスタンスを優先することで、アクティブラーニングにおけるサンプル効率が向上する。
• 両方の不確実性タイプを組み込んだリスクに配慮した強化学習目的関数は、確率的環境におけるより頑健なポリシーを生成する。
• 本手法は、分布シフト下での予測における過信を低減させることで、不確実性のキャリブレーションが向上することを示している。
• 実証的結果から、不確実性分解を用いたモデルは、アクティブラーニングおよび強化学習のベンチマークにおいて、より優れた一般化性能と信頼性を達成していることが明らかになった。
• 本手法により、知識不足に起因する不確実性（エピステミック）とデータノイズに起因する不確実性（アレアトリック）を区別することで、強化学習における信頼性の高い探索が可能になる。