[論文レビュー] DropoutDAgger: A Bayesian Approach to Safe Imitation Learning

Kunal Menda, Katherine Driggs-Campbell+1 more|arXiv (Cornell University)|Sep 18, 2017

Robot Manipulation and Learning参考文献 18被引用数 13

ひとこと要約

DropoutDAggerは、ドロップアウトを用いて初心者ポリシーの行動における不確実性を推定するベイジアン拡張をDAgger強化学習アルゴリズムに導入し、探索と活用のバランスを取る確率的セーフティメジャーを可能にする。MuJoCo HalfCheetahおよびDubinsカーのライダー走行タスクにおいて、観測ノイズが高い状況下でも、DAggerの変種や行動コーディングよりも優れたセーフティと学習性能を達成した。

ABSTRACT

While imitation learning is becoming common practice in robotics, this approach often suffers from data mismatch and compounding errors. DAgger is an iterative algorithm that addresses these issues by continually aggregating training data from both the expert and novice policies, but does not consider the impact of safety. We present a probabilistic extension to DAgger, which uses the distribution over actions provided by the novice policy, for a given observation. Our method, which we call DropoutDAgger, uses dropout to train the novice as a Bayesian neural network that provides insight to its confidence. Using the distribution over the novice's actions, we estimate a probabilistic measure of safety with respect to the expert action, tuned to balance exploration and exploitation. The utility of this approach is evaluated on the MuJoCo HalfCheetah and in a simple driving experiment, demonstrating improved performance and safety compared to other DAgger variants and classic imitation learning.

研究の動機と目的

• 行動学習におけるセーフティ保証の欠如、特に分布外状態に直面した際のセーフティを改善すること。
• 専門家のデモンストレーションを超えた安全な探索を可能にするために、行動学習のロバスト性を向上させること。
• ドロップアウト正則化ポリシーからの不確実性推定を用いて、行動選択をガイドする確率的フレームワークを開発すること。
• 初心者ポリシーの行動に対する信頼度を用いて、専門家への依存を減らすことで、探索と活用のバランスを取ること。

提案手法

• 推論時にドロップアウトを用いてベイジアンニューラルネットワークとして初心者ポリシーを訓練し、行動の確率分布を取得する。
• 各観測に対して初心者ポリシーの行動の不確実性を推定し、セーフティ意思決定に活用する。
• 初心者ポリシーの予測行動に低い信頼度または高い不確実性がある場合に、専門家の行動を選択する意思決定ルールを設計する。
• 専門家と初心者ポリシーの行動差に、初心者の信頼度を重み付けした確率的セーフティメジャーを定義する。
• 初心者の行動確率分布をDAggerフレームワークに統合し、セーフティを維持しながらポリシーのロバスト性を段階的に向上させる。
• 探索とセーフティのバランスを取るために、ハイパーパrameter τ（セーフティ閾値）、p（専門家行動確率）、d（ドロップアウト率）を調整する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトを用いたベイジアンニューラルネットワークは、行動学習ポリシーの信頼性のある不確実性推定を提供できるか？
• RQ2 初心者ポリシーの行動における不確実性をどのようにして学習中の確率的セーフティメジャーに活用できるか？
• RQ3 不確実性に基づく意思決定ルールを組み込むことで、標準的なDAggerや行動コーディングと比較して、学習パフォーマンスとセーフティが向上するか？
• RQ4 ドロップアウト率やセーフティ閾値などのハイパーパrameterに、本手法のパフォーマンスがどれほど感受するか？
• RQ5 本手法は、セーフティを完全に維持しながら、セーフティに配慮しないベースラインと同等の学習パフォーマンスを達成できるか？

主な発見

• DropoutDAggerは、すべての実験で完全なセーフティパフォーマンスを達成した。高アレアトリック不確実性環境下でも同様であった。
• Dubinsカーのライダー走行環境では、DropoutDAggerは行動コーディングやSafeDAgger*を上回る学習パフォーマンスを示したが、完全なセーフティを維持した。
• 観測ノイズが高い状況下でも、本手法はロバストであった。ライダー測定値にガウスノイズが加わっても、学習パフォーマンスが維持された。
• 温度パrameter τを小さくするか、ドロップアウト率 d を大きくすると、アルゴリズムはより慎重になり、学習パフォーマンスは行動コーディングに近づいた。
• ドロップアウト確率を0.05から0.1に増加させることで、τ や p のハイパーパrameter選択に対する感受性が低下し、よりロバストになった。
• 複数のハイパーパrameter設定においても、本アルゴリズムは高いパフォーマンスを維持した。安定性と実用的利便性が示された。