[論文レビュー] Explanation Augmented Feedback in Human-in-the-Loop Reinforcement Learning

Lin Guan, Mudit Verma+1 more|arXiv (Cornell University)|Jun 26, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 11

ひとこと要約

本論文は、二値の良し悪しフィードバックに視覚的注目マップを追加することで、サンプル効率を向上させる人間を含むループ強化学習フレームワークであるEXPANDを提案する。注目領域に基づいて状態を摂動させることで、EXPANDは学習効率を向上させ、ピクセル・タクシーとアーケードゲームを含む5つのタスクにおいて、環境および人間のフィードバックの両方のサンプル効率で顕著な向上を示す。

ABSTRACT

Human-in-the-loop Reinforcement Learning (HRL) aims to integrate human guidance with Reinforcement Learning (RL) algorithms to improve sample efficiency and performance. A common type of human guidance in HRL is binary evaluative good or bad feedback for queried states and actions. However, this type of learning scheme suffers from the problems of weak supervision and poor efficiency in leveraging human feedback. To address this, we present EXPAND (EXPlanation AugmeNted feeDback) which provides a visual explanation in the form of saliency maps from humans in addition to the binary feedback. EXPAND employs a state perturbation approach based on salient information in the state to augment the binary feedback. We choose five tasks, namely Pixel-Taxi and four Atari games, to evaluate this approach. We demonstrate the effectiveness of our method using two metrics: environment sample efficiency and human feedback sample efficiency. We show that our method significantly outperforms previous methods. We also analyze the results qualitatively by visualizing the agent's attention. Finally, we present an ablation study to confirm our hypothesis that augmenting binary feedback with state salient information results in a boost in performance.

研究の動機と目的

• 二値フィードバックに基づく人間を含むループ強化学習における弱い教師信号と低効率の問題を解決すること。
• 二値フィードバックに加えて視覚的説明（注目マップ）を組み込むことで、サンプル効率を向上させること。
• 注目情報に基づく状態摂動が学習パフォーマンスを向上させるかどうかを検証すること。
• ピクセル・タクシーとアーケードゲームを含む多様な環境において、この手法を評価すること。
• 説明を追加したフィードバックがエージェントのパフォーマンスを向上させるという仮説を検証すること。

提案手法

• 二値評価フィードバックと人間が提供する注目マップを組み合わせて学習を導くフレームワークであるEXPANDを導入する。
• 状態を注目情報に基づいて変更する状態摂動技術を用い、追加の訓練信号を生成する。
• 注目マップを活用して重要な状態領域を特定し、それらを摂動させて多様だが意味のある状態変化を模倣する。
• 摂動された状態を二値フィードバックに追加して、強化学習エージェントのためのより豊かな監視信号を生成する。
• ポリシー学習中に二値フィードバックと摂動に基づく信号を統合するフィードバック集約メカニズムを採用する。
• 標準的な強化学習ベンチマークを用いて、ピクセル・タクシーと4つのアーケードゲームを含む5つの環境にこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 二値フィードバックに視覚的注目マップの説明を追加することで、人間を含むループ強化学習におけるサンプル効率が向上するか？
• RQ2 注目領域に基づく状態摂動の統合は、標準的な二値フィードバックと比較して学習パフォーマンスにどのように影響するか？
• RQ3 説明を追加したフィードバックは、効果的な学習に必要な人間のフィードバックの回数をどの程度削減できるか？
• RQ4 注目に基づく摂動は、エージェントの注目領域とポリシーの一般化にどのように影響するか？
• RQ5 パフォーマンス向上に寄与する主な要因は、注目情報か二値フィードバックか、それぞれの相対的寄与度はどの程度か？

主な発見

• EXPANDは、二値フィードバックのみを用いるベースライン手法と比較して、環境のサンプル効率が顕著に向上している。
• 人間のフィードバックのサンプル数を減らしても高い学習パフォーマンスを達成できており、人間のフィードバックのサンプル効率が向上していることが示された。
• 定性的な分析から、エージェントが状態の注目領域に注目するよう学習していることが確認され、人間が提供した説明と整合している。
• アブレーションスタディにより、注目に基づく摂動を除去するとパフォーマンスが低下することが確認され、本手法の核心仮説が妥当であることが裏付けられた。
• ピクセル・タクシーと4つのアーケードゲームを含む、全5つのタスクにおいて、本手法は以前の手法を上回った。
• 視覚的説明の統合により、ポリシー学習の収束がより安定的かつ迅速になった。