[論文レビュー] Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning

David Bertoin, Adil Zouitine+2 more|arXiv (Cornell University)|Sep 16, 2022

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文では、視覚的強化学習の一般化性と解釈可能性性を向上させるため、エージェントが自ら重要な入力画素を特定し、それらに注目するように訓練する汎用的手法であるSaliency-guided Q-networks（SGQN）を提案する。SGQNは自己教師付きの注目度予測と一貫性損失を統合し、特に干渉要因が豊富な条件下でDMControlベンチマークにおけるSoft Actor-Criticの性能を顕著に向上させ、一般化性および学習効率の分野で新たな最先端水準を確立した。

ABSTRACT

Deep reinforcement learning policies, despite their outstanding efficiency in simulated visual control tasks, have shown disappointing ability to generalize across disturbances in the input training images. Changes in image statistics or distracting background elements are pitfalls that prevent generalization and real-world applicability of such control policies. We elaborate on the intuition that a good visual policy should be able to identify which pixels are important for its decision, and preserve this identification of important sources of information across images. This implies that training of a policy with small generalization gap should focus on such important pixels and ignore the others. This leads to the introduction of saliency-guided Q-networks (SGQN), a generic method for visual reinforcement learning, that is compatible with any value function learning method. SGQN vastly improves the generalization capability of Soft Actor-Critic agents and outperforms existing stateof-the-art methods on the Deepmind Control Generalization benchmark, setting a new reference in terms of training efficiency, generalization gap, and policy interpretability.

研究の動機と目的

• ドライビングや統計的に変動する入力条件下でも一般化性能が低い深層強化学習エージェントの問題に対処すること。
• 因果関係のある視覚的特徴に注目させ、混同要因となる背景要因を無視させることで、ポリシーのロバスト性を向上させること。
• 外部の注目度マップや追加の推論コストを必要とせず、一般化性と解釈可能性性の両方を向上させる手法を開発すること。
• 任意の価値ベースの深層強化学習アルゴリズム、特にSoft Actor-Critic（SAC）と互換性がある汎用的でプラグイン可能なフレームワークを確立すること。

提案手法

• 注目度マップによって特定された画素に主に依存するQ値関数を促す一貫性正則化項を導入する。
• エージェントが自らのQ値の注目度マップを予測する自己教師付き学習目的を採用し、意思決定に関連する特徴に対する自己認識を促進する。
• 二重ループメカニズムを用いる：注目度マップが価値関数の学習をガイドし、予測された注目度マップが特徴表現を精錬することで、良い循環学習のサイクルを形成する。
• SACに本手法を適用する際、注目度ヘッド（注目マップを予測する部分）をQネットワークのアーキテクチャに追加する。
• 勾配に基づく帰属度（例：Grad-CAMまたは類似手法）を用いた微分可能注目度マップ推定を実装し、エンド・トゥ・エンドの学習を可能にする。
• Q値の注目度マップとQネットワークの勾配に基づく帰属度を一致させる一貫性損失を導入し、注目度と価値関数依存性の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きの注目度予測は、干渉要因や画像変動が存在する状況下で、視覚的強化学習エージェントの一般化性を向上させ得るか？
• RQ2 Q値依存性と注目度マップの整合性を強制することで、ポリシーのロバスト性および学習効率にどのような影響を与えるか？
• RQ3 外部の説明ツールを用いずに、内在的注目度予測に基づく自己注意メカニズムが、解釈可能性性をどの程度向上させ得るか？
• RQ4 SGQNのような汎用的でモジュール型の手法がSACに効果的に適用可能であり、DMControl一般化ベンチマークで既存の最先端手法を上回る性能を発揮できるか？
• RQ5 自己教師付き注目度学習目的は、分布シフトにわたって一般化可能なより良い特徴表現を生成するのか？

主な発見

• SGN-SAC（SGQNをSACに適用したもの）は、ハード一般化ベンチマークにおいて、アンサンブルSACに比べ平均リターンが493%向上した。
• 『finger spin』環境のハードバージョンでは、SGN-SACは822±24のリターンを達成し、アンサンブルSACの20±10に比べて4010%の向上を示した。
• 本手法は、干渉要因が豊富な環境において一般化ギャップを顕著に縮小し、DMControlベンチマークで先行する最先端手法を上回った。
• SGQNは計算オーバーヘッドが一切ない内在的でリアルタイムの帰属度マップを提供し、後処理の説明ツールなしで解釈可能な意思決定を可能にした。
• アブレーションスタディの結果、一貫性損失を除去するとハードベンチマークで15〜20%の性能低下が生じ、その重要性が確認された。
• SGN-SACの学習効率は顕著に向上し、クリーンな学習環境でも収束が速く、サンプル効率が高くなった。