[論文レビュー] Discovering Blind Spots in Reinforcement Learning

Ramya Ramakrishnan, Ece Kamar+3 more|arXiv (Cornell University)|May 23, 2018

Reinforcement Learning in Robotics参考文献 22被引用数 9

ひとこと要約

本論文は、シミュレーションにおける状態表現の不完全さによって引き起こされる強化学習における見えない領域（盲点）を検出する手法を提案する。オラクルフィードバック（デモンストレーションと是正）を用いて、未検証の状態空間領域における高リスク状態を特定する予測モデルを訓練する。このアプローチはベースラインを上回る性能を発揮し、特定の状態でのみオラクルに相談する戦略により、実世界環境での安全かつクエリ効率の良い実行を可能にする。

ABSTRACT

Agents trained in simulation may make errors in the real world due to mismatches between training and execution environments. These mistakes can be dangerous and difficult to discover because the agent cannot predict them a priori. We propose using oracle feedback to learn a predictive model of these blind spots to reduce costly errors in real-world applications. We focus on blind spots in reinforcement learning (RL) that occur due to incomplete state representation: The agent does not have the appropriate features to represent the true state of the world and thus cannot distinguish among numerous states. We formalize the problem of discovering blind spots in RL as a noisy supervised learning problem with class imbalance. We learn models to predict blind spots in unseen regions of the state space by combining techniques for label aggregation, calibration, and supervised learning. The models take into consideration noise emerging from different forms of oracle feedback, including demonstrations and corrections. We evaluate our approach on two domains and show that it achieves higher predictive performance than baseline methods, and that the learned model can be used to selectively query an oracle at execution time to prevent errors. We also empirically analyze the biases of various feedback types and how they influence the discovery of blind spots.

研究の動機と目的

• シミュレーションから実世界へのポリシー移行時に、状態表現の不一致によって引き起こされる安全上の深刻な障害を解消すること。
• オラクルフィードバックを用いて、ノイズあり・クラス不均衡な教師あり学習問題として盲点検出を形式化すること。
• 集約化され、キャリブレーションされた専門家のフィードバックを用いて、未検証のシミュレーション状態における盲点を学習して予測する手法を開発すること。
• 実世界での高コストな誤りを低減するため、学習済みの盲点モデルに従ってオラクルを統合した実行を可能にすること。

提案手法

• シミュレーション状態が実世界で高コストの誤りを引き起こすかどうかを示すラベルを用いて、盲点検出を教師あり学習タスクとして形式化する。
• オラクルからの複数のフィードバックタイプ（デモンストレーションと是正）を用いて、学習用のノイズありラベルを生成する。
• 複数のオラクル反応を統合してノイズを低減するため、ラベル集約技術を適用する。
• クラス不均衡に対処し、まれだが重要な盲点状態の再現率を優先するように、予測モデルをキャリブレーションする。
• 状態が盲点である確率を予測する分類器を訓練し、実行時にオラクルへのクエリを、高確率の盲点状態でのみ行うようにする。
• モデルを実行プロセスに統合し、高確率の盲点状態でのみオラクルクエリをトリガーすることで、誤りを防止する。

実験結果

リサーチクエスチョン

• RQ1 不完全な状態表現によって引き起こされる強化学習の盲点を、実世界へのデプロイの前に、どのように体系的かつシミュレーションで検出できるか？
• RQ2 特にデモンストレーションと是正を含むオラクルフィードバックは、ノイズやバイアスが存在する中で、盲点検出の正確性をどのように向上させるか？
• RQ3 オラクルフィードバックにおけるクラス不均衡とラベルノイズを効果的に管理することで、信頼性の高い盲点予測モデルを構築するにはどうすればよいか？
• RQ4 学習済みの盲点モデルは、実世界での高コストな誤りをどの程度低減できるか、同時にオラクルクエリの数を最小限に抑えることができるか？
• RQ5 異なるフィードバックタイプ（例：厳密なオラクル対緩いオラクル）は、盲点検出モデルの性能と信頼性にどのように影響を与えるか？

主な発見

• 提案手法は2つのドメインにおいて、ベースライン手法を上回る性能を示し、状態空間の未検証領域においても高い予測性能を発揮した。
• FlappyBirdドメインでは、NQおよびAQベースラインを上回る性能を達成し、特に厳密なオラクルフィードバック下で顕著に少ないオラクルクエリ数を実現した。
• 緩いオラクルフィードバック下では、D-A（デモンストレーションと是正）フィードバックが、初期デモンストレーションのバイアスにより、危険な状態を安全と誤ってラベル付けしたため、性能が著しく低下した。
• 分類器のしきい値を調整することで、誤りコストとクエリコストのバランスを取ることができ、安全が求められる応用分野におけるリスクセンシティブなデプロイを可能にする。
• 研究により、異なるフィードバックタイプが異なるバイアスをもたらすことが実証された（例：デモンストレーションが重要な状態ではなく、非重要状態に焦点を当てると誤解を招く）。これは、ドメイン特性に応じたフィードバックタイプの選択の重要性を示している。