[論文レビュー] Temporal Disentanglement of Representations for Improved Generalisation in Reinforcement Learning

Mhairi Dunion, Trevor McInroe+3 more|arXiv (Cornell University)|Jul 12, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、順序観測における時間的整合性を活用することで、強化学習における分離表現を学ぶ自己教師付き補助タスクである時系列分離（TED）を導入する。TEDは、未観測の環境変数（例えば、背景色などタスクに無関係な要因や、ゴール位置などタスクに関連する要因）への一般化を向上させ、最先端の手法よりも高速な適応とより優れた性能回復を実現する。特に、画像ベースの強化学習設定において顕著である。

ABSTRACT

Reinforcement Learning (RL) agents are often unable to generalise well to environment variations in the state space that were not observed during training. This issue is especially problematic for image-based RL, where a change in just one variable, such as the background colour, can change many pixels in the image. The changed pixels can lead to drastic changes in the agent's latent representation of the image, causing the learned policy to fail. To learn more robust representations, we introduce TEmporal Disentanglement (TED), a self-supervised auxiliary task that leads to disentangled image representations exploiting the sequential nature of RL observations. We find empirically that RL algorithms utilising TED as an auxiliary task adapt more quickly to changes in environment variables with continued training compared to state-of-the-art representation learning methods. Since TED enforces a disentangled structure of the representation, our experiments also show that policies trained with TED generalise better to unseen values of variables irrelevant to the task (e.g. background colour) as well as unseen values of variables that affect the optimal policy (e.g. goal positions).

研究の動機と目的

• 背景色やゴール位置の変化など、未観測の環境変動に対する画像ベース強化学習エージェントの一般化性能の低さを改善すること。
• ドメインランダマイゼーションや不変表現学習の限界（データの無駄が多く、タスクに関連する変数への一般化に失敗する）を克服すること。
• 連続する時系列ステップからの時間的データに依存する自己教師付きオンライン手法を提案し、i.i.d.データに依存しない分離表現を学習すること。
• 災害的忘却を回避しつつ、エージェントが新しい環境値に迅速に適応できる生涯学習を可能にすること。
• 潜在表現に分離構造を強制することで、分布シフト後のロバストネスと性能回復を向上させること。

提案手法

• 時間的隣接観測の表現を対比することで、分離を促進する自己教師付き補助損失であるTEDを提案する。
• 非時間的サンプルを2種類用いる：(1) 同一エピソード内（非定常的特徴）、(2) 異なるエピソード間（定常的特徴）、これによりエージェント制御要因と環境制御要因を分離する。
• エージェントの行動と環境の変化に起因する変化を区別できるように、分離構造を持つ対照分類器を訓練する。
• RAD、SAC、PPOなどの既存の強化学習アルゴリズムに最小限のアーキテクチャ変更でTEDを補助損失として統合し、デコーダーを必要としない。
• ハイパーパrameter α を用いて分離度とポリシー性能のバランスを最適化し、最良の一般化を得るために経験的に調整する。
• 因子VAEに基づく分離度メトリクスを用いて学習された表現の質を評価し、TEDを用いることで分離度が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 時間的整合性に基づく自己教師付き補助タスクが、未観測の環境変数値に対する画像ベース強化学習の一般化を改善できるか？
• RQ2 時間的対照学習による分離表現の学習が、分布シフト後の高速適応とより優れた性能回復をもたらすか？
• RQ3 タスクに無関係な要因およびタスクに関連する要因の両方に対する一般化において、TEDは最先端の表現学習手法と比較して優れているか？
• RQ4 同一エピソード内または異なるエピソード内の非時間的サンプルのみを用いる場合、一般化性能にどのような影響を与えるか？
• RQ5 標準的な線形分類器と比較して、TEDにおける分離構造を持つ分類器はどの程度重要か？

主な発見

• TEDは、RAD、SAC、PPOの3つのベースライン強化学習アルゴリズムが、背景色などタスクに無関係な要因、およびゴール位置などタスクに関連する要因の未観測値に対しても、一般化性能を顕著に向上させる。
• 継続的な学習中に、TEDで訓練されたエージェントは、新しい環境値に迅速に適応し、ベースラインよりも速く最適ポリシー性能に回復する。
• アブレーションスタディの結果、同一エピソード内と異なるエピソード間の両方の非時間的サンプルを用いることで最良の一般化が達成され、一方のタイプのみを用いるバージョンを上回る。
• 分離構造を持つ分類器を標準的な線形分類器に置き換えると、一般化性能が低下することが示され、TEDにおける分離構造の重要性が裏付けられる。
• TED損失係数αは慎重にチューニングする必要がある：α=200が最適な性能を達成するが、α=50またはα=500では分離度が不足または過剰となり、一般化性能が劣化する。
• TEDは因子VAEメトリクスにおいて分離度スコアを向上させ、明示的な教師信号がなくても、ベースラインに比べて学習された表現がより分離されていることが確認される。