[論文レビュー] Learning Generalizable Agents via Saliency-Guided Features Decorrelation

Sili Huang, Yanchao Sun+6 more|arXiv (Cornell University)|Oct 8, 2023

Reinforcement Learning in RoboticsComputer Science被引用数 3

ひとこと要約

本稿では、視覚的強化学習における誤った相関を低減するために、ランダムフーリエ特徴（RFF）と局所化マップを活用するサンプル再重み付け手法であるSaliency-Guided Features Decorrelation（SGFD）を提案する。この手法により、タスクに不要な特徴とタスクに必要な特徴の因果的影響をより明確に分離できるようになり、DMControlおよびCausal Worldベンチマークにおいて、多様な視覚的変化に対して優れた一般化性能を達成する。SOTA手法を上回る性能を示す。

ABSTRACT

In visual-based Reinforcement Learning (RL), agents often struggle to generalize well to environmental variations in the state space that were not observed during training. The variations can arise in both task-irrelevant features, such as background noise, and task-relevant features, such as robot configurations, that are related to the optimal decisions. To achieve generalization in both situations, agents are required to accurately understand the impact of changed features on the decisions, i.e., establishing the true associations between changed features and decisions in the policy model. However, due to the inherent correlations among features in the state space, the associations between features and decisions become entangled, making it difficult for the policy to distinguish them. To this end, we propose Saliency-Guided Features Decorrelation (SGFD) to eliminate these correlations through sample reweighting. Concretely, SGFD consists of two core techniques: Random Fourier Functions (RFF) and the saliency map. RFF is utilized to estimate the complex non-linear correlations in high-dimensional images, while the saliency map is designed to identify the changed features. Under the guidance of the saliency map, SGFD employs sample reweighting to minimize the estimated correlations related to changed features, thereby achieving decorrelation in visual RL tasks. Our experimental results demonstrate that SGFD can generalize well on a wide range of test environments and significantly outperforms state-of-the-art methods in handling both task-irrelevant variations and task-relevant variations.

研究の動機と目的

• タスクに不要な特徴およびタスクに関連する特徴に起因する未知の環境変化に対して、視覚的強化学習の一般化性能が著しく低下する問題に対処すること。
• 高次元の視覚的観測における特徴同士の固有の相関が原因で生じる、入力特徴と意思決定との間の誤った相関を分離すること。
• 背景ノイズやロボットの構成変更といった特徴の変化を正確に特定し、それらが最適意思決定に与える真の影響を正しく関連付ける能力をエージェントに与えること。
• 不変表現学習に依存するのではなく、局所化マップと非線形相関推定に基づいて訓練サンプルの再重み付けを行うことで、方策の一般化性能を向上させること。

提案手法

• SGFDは、高次元の視覚的特徴間の複雑な非線形相関を、線形計算複雑度で近似するため、ランダムフーリエ特徴（RFF）を用いる。
• 入力画像のソース（例：環境や変化タイプ）を特定する分類モデルを学習し、その局所化マップにより環境間で変化した特徴が強調される。
• 局所化マップが変化した特徴の相関を特に低減するように、サンプル再重み付けが行われ、それらの特徴が方策学習に与える混同的影響が軽減される。
• RFF埋め込み特徴と行動との間の共分散行列を用いて、非線形特徴-意思決定相関を推定し、再重み付けによってその相関を最小化する。
• 訓練中に再重み付けを適用することで、相関のある因果関係のない特徴の影響を軽減しながら、意思決定に関連する変化の関連性を保持する。
• 本手法はDMControlおよびCausal Worldベンチマークで評価され、RFFおよび局所化ガイドの役割を検証するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 局所化マップとRFFに基づく相関推定によるサンプル再重み付けは、タスクに不要な環境変化およびタスクに関連する環境変化の両方において、視覚的強化学習の一般化性能を向上させるか？
• RQ2 RFFは、高次元の視覚的特徴間の非線形相関を、RLにおける相関の解消に適切に捉えられるか？
• RQ3 局所化ガイド付き再重み付けは、因果的関係と誤った関係を分離するモデルの能力をどの程度向上させるか？
• RQ4 局所化マップで特定された変化した特徴のみを対象に相関を解消することで、全特徴の相関解消よりも一般化性能が向上するか？
• RQ5 本手法は、両方の環境変化に対処する上で、既存の不変表現学習手法と比較して優れているか？

主な発見

• DMControlベンチマークにおいて、背景動画の干渉やロボットパラメータの変化が生じる環境でも、SGFDはSOTA手法を著しく上回る一般化性能を示した。
• アブレーションスタディの結果、RFFを除去すると性能が著しく低下し、複雑な非線形相関をモデル化する上でRFFが果たす役割が確認された。
• 局所化ガイド付きモデルを除去すると性能が急激に低下し、変化した特徴に焦点を当てた相関の解消が重要であることが示された。
• 再重み付けプロセスにより、同じ状態（例：「転倒」ポーズ）のインスタンス数が環境間でバランスされ、誤った相関が中和された。
• サンプル重みの可視化により、SGFDがタスクに不要な特徴（例：背景）と方策意思決定との間の相関を効果的に低減していることが確認された。
• DMControlおよびCausal Worldベンチマークの両方で、背景ノイズやロボット構成変更を含む多様な視覚的変化に対して、SGFDは良好な一般化性能を示した。