[論文レビュー] Are Gradient-based Saliency Maps Useful in Deep Reinforcement Learning?

Matthias Rosynski, Frank Kirchner+1 more|arXiv (Cornell University)|Dec 2, 2020

Reinforcement Learning in Robotics参考文献 14被引用数 4

ひとこと要約

この論文は、深層強化学習（DRL）における勾配ベースのサリエンシー・マップの有用性を調査し、Grad-CAM やガイドド・バックプロパゲーションといった技術が、報酬のみに依存する場合よりも、早期かつ解釈可能な形でエージェントの意思決定プロセスを明らかにできることを示している。報酬よりも優れたデバッグ手法である。G1Grad-CAM は、報酬が初期段階で信頼できないオフポリシー・アルゴリズムにおいて、従来の Grad-CAM よりも優れた特徴の重要度の特定と、早期の訓練エラー検出を可能にする、新規の手法である。

ABSTRACT

Deep Reinforcement Learning (DRL) connects the classic Reinforcement Learning algorithms with Deep Neural Networks. A problem in DRL is that CNNs are black-boxes and it is hard to understand the decision-making process of agents. In order to be able to use RL agents in highly dangerous environments for humans and machines, the developer needs a debugging tool to assure that the agent does what is expected. Currently, rewards are primarily used to interpret how well an agent is learning. However, this can lead to deceptive conclusions if the agent receives more rewards by memorizing a policy and not learning to respond to the environment. In this work, it is shown that this problem can be recognized with the help of gradient visualization techniques. This work brings some of the best-known visualization methods from the field of image classification to the area of Deep Reinforcement Learning. Furthermore, two new visualization techniques have been developed, one of which provides particularly good results. It is being proven to what extent the algorithms can be used in the area of Reinforcement learning. Also, the question arises on how well the DRL algorithms can be visualized across different environments with varying visualization techniques.

研究の動機と目的

• 勾配ベースのサリエンシー・マップが、深層強化学習における有効なデバッグツールとして機能するかどうかを評価すること。
• DRL環境内における、Grad-CAM やガイドド・バックプロパゲーションといった既存の可視化技術の解釈可能性と信頼性を評価すること。
• 特に G1Grad-CAM を含む、特徴検出とエラーの局所化を向上させる新しい可視化手法の開発と検証を行うこと。
• サリエンシー手法が、報酬ベースの分析よりも、オフポリシー・アルゴリズムにおいて、アーキテクチャ的または実装上のエラーを早期に検出できるかどうかを特定すること。
• 行動判別型サリエンシー手法が、エージェントの意思決定プロセスにおいて最も影響を与える特徴をどのように強調できるかを調査すること。

提案手法

• アタリ環境におけるDRLエージェントに、4つの既存の勾配ベースの可視化技術（Grad-CAM、ガイドド・バックプロパゲーション、Grad-CAM++、および新規手法G1Grad-CAM）を適応・適用した。
• 最終畳み込み層における高勾配領域を強調することで、特徴の局所化を向上させる、Grad-CAM の変種であるG1Grad-CAMを提案した。
• 入力領域の削除が方策出力に与える影響を比較するために、摂動ベースのサリエンシー指標（例：勾配の有限差分近似）を用いた。
• ブレイクアウトやピンゴなどの環境で、DDDQN やスプリット・アテンション・エージェントといった複数のDRLエージェントに可視化手法を適用し、一貫性と解釈可能性を評価した。
• 訓練の初期段階でサリエンシー・マップを評価し、スパarsなノイズの多い報酬信号と比較することで、早期診断の可能性を検証した。
• 負の勾配の影響と、それが特徴境界を強調する役割を果たすメカニズムを分析するためのアブレーションスタディを実施した。その結果、ラプラシアン型のエッジ検出効果が示唆された。

実験結果

リサーチクエスチョン

• RQ1 オフポリシーDRLアルゴリズムにおいて、勾配ベースのサリエンシー・マップは、報酬ベースの監視よりも、訓練エラーを早期に検出できるか？
• RQ2 ガイドド・バックプロパゲーションとGrad-CAMは、DRLエージェントにおいて意味のある、物理的に解釈可能な特徴を明らかにするのか、それとも誤ったアーティファクトを生成するのか？
• RQ3 提案されたG1Grad-CAM手法は、標準のGrad-CAMよりも、エージェントの行動に影響を与える特徴をよりよく特定できるか？
• RQ4 サリエンシー・マップは、エージェントが正しい特徴を学習しているのか、それとも報酬の形状によってパターンを記憶しているのかをどの程度明らかにできるか？
• RQ5 行動判別型サリエンシー手法を設計することで、選択された行動に最も寄与する特徴を強調できるようになるか？

主な発見

• G1Grad-CAM および Grad-CAM は、報酬の増加が開始する前でさえも、非常に初期の段階で解釈可能な可視化を生成し、ネットワークの問題を迅速に検出可能であった。
• ガイドド・バックプロパゲーションは、特にスプリット・アテンション・エージェントにおいて、Grad-CAM よりも特徴の重要度の検出と特定のネットワーク層やストリームのエラーの特定に優れていた。
• この手法により、DDDQN エージェントにおけるフレームスタッキングの誤りが数分以内に可視化され、長時間にわたる訓練の前に対処可能であった。
• ガイドド・バックプロパゲーションにおける負の勾配は、ラプラシアンカーネルに類似したパターンを形成し、2階微分効果によって特徴境界を検出している可能性を示唆した。
• 先行研究での主張とは異なり、ガイドド・バックプロパゲーションは単なるエッジ検出器ではなく、関連する特徴を正しく可視化しており、これにより初期の懸念が覆された。
• 本研究では、行動に特化したサリエンシー手法が、選択された行動に最も寄与する特徴を明確に強調できなかったため、今後の研究で行動固有の勾配ルーティングの改善が求められる。