[論文レビュー] Visual Diagnostics for Deep Reinforcement Learning Policy Development

Jieliang Luo, Sam Green+3 more|arXiv (Cornell University)|Sep 14, 2018

Reinforcement Learning in Robotics参考文献 7被引用数 3

ひとこと要約

本論文は、視覚ベースの制御における深層強化学習（DRL）ポリシーに適応された視覚的診断技術—クラス可視化、帰属マッピング、t-SNE—を導入する。シミュレーテッドドローン環境にこれらの手法を適用することで、ポリシーがどのように意思決定を行うか、偏りを暴き出し、過学習や一般化の欠如といった欠陥を特定する。これにより、DRLシステムにおける解釈可能性と信頼性が著しく向上する。

ABSTRACT

Modern vision-based reinforcement learning techniques often use convolutional neural networks (CNN) as universal function approximators to choose which action to take for a given visual input. Until recently, CNNs have been treated like black-box functions, but this mindset is especially dangerous when used for control in safety-critical settings. In this paper, we present our extensions of CNN visualization algorithms to the domain of vision-based reinforcement learning. We use a simulated drone environment as an example scenario. These visualization algorithms are an important tool for behavior introspection and provide insight into the qualities and flaws of trained policies when interacting with the physical world. A video may be seen at https://sites.google.com/view/drlvisual .

研究の動機と目的

• 視覚ベースの深層強化学習（DRL）における畳み込みニューラルネットワーク（CNN）の不透明性、特にセーフティクリティカルなサイバー物理システムにおいて解決すべき課題を提示すること。
• t-SNE、クラス可視化、帰属可視化といった既存のCNN可視化技術を、DRLポリシー分析に適応すること。
• エンジニアがポリシーがどの特徴に注目しているか、そしてなぜ特定の行動を選択するかを可視化することで、DRLポリシーの内省とデバッグを可能にすること。
• 過学習や初期経験への依存、一般化の欠如といった欠陥を、視覚的診断によって同定すること。
• ポリシーの意思決定プロセスを透明かつ分析可能にすることで、DRLにおける信頼性と解釈可能性を向上させること。

提案手法

• 強化学習タスクをサポートするように拡張されたAirSim（ドローンシミュレータ）を用い、ポリシー分析のための状態-行動遷移データを収集した。
• t-SNEを用いて、ポリシーの行動出力に基づいて状態観測をクラスタリングし、意思決定境界やポリシー行動のクラスタを明らかにした。
• クラス可視化を用いて、特定の行動（左、前進、右）の確率を最大化する合成画像を生成し、ポリシーが各行動に関連付ける視覚的パターンを可視化した。
• 帰属可視化を用いて、ポリシーの行動選択に最も寄与する画像領域を特定し、サリエンシー・マップを用いて特徴の重要度を示した。
• 学習率を調整可能なREINFORCEアルゴリズムを用いてポリシーを訓練し、学習ダイナミクスがポリシー行動に与える影響を調査した。
• 行動確率分布の分析と視覚入力の変化に対する感受性を可視化することで、確率的ポリシーの挙動を可視化した。

実験結果

リサーチクエスチョン

• RQ1 既存のCNN可視化技術を、視覚ベースの深層強化学習ポリシーの意思決定プロセスを分析するためにどのように適応できるか？
• RQ2 高パフォーマンスと低パフォーマンスのDRLポリシーは、それぞれどのような視覚的パターンを学習し、環境の認識にどのように差が現れるか？
• RQ3 DRLポリシーが特定の視覚的特徴（遮蔽や背景パターンなど）に対してどれほどバイアスを示すか、そしてそのバイアスをどのように診断できるか？
• RQ4 ポリシー訓練時の学習率が行動バイアスの発生に与える影響はどの程度か？可視化によって早期の過学習を検出できるか？
• RQ5 視覚的診断によって、ポリシーが意味のある環境の手がかりに基づいて意思決定しているのか、それとも誤った相関関係に依存しているのかを特定できるか？

主な発見

• 高パフォーマンスのポリシーは、立方体の空間的位置と明確に関連するクラス可視化を生成する—例えば、カメラ画角の左側に立方体があると「左」行動が発動する。
• 低パフォーマンスのポリシーは、すべての行動がノイズによって引き起こされるクラス可視化を生成するため、意味のある特徴の学習がなく、一般化能力に欠けることが示された。
• 前進・右のみのポリシーでは、高い学習率が早期収束を引き起こし、「左」行動の確率が完全に消失しているが、これは依然として関連性があるにもかかわらずである。
• 高パフォーマンスのポリシーにおける帰属可視化では、最も近い立方体が最もサリエンシーであることが確認され、ポリシーが最も関連のある環境特徴に注目していることが裏付けられた。
• 低パフォーマンスのポリシーでは、帰属マップが画像全体に均等に注目しているため、信頼できる特徴の優先順位付けがなく、意思決定能力に欠けていることが示された。
• 前進・右のみのポリシーでは、帰属マップからポリシーが立方体よりも水平線に多く注目していることが判明し、関連する物体に注目できていないことが示された。