[論文レビュー] AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning

Biwei Huang, Fan Feng+3 more|arXiv (Cornell University)|Jul 6, 2021

Reinforcement Learning in Robotics参考文献 48被引用数 6

ひとこと要約

AdaRLは、動的ベイジアンネットワークにおける簡潔なグラフィカル表現を用いてドメイン間の構造的変化をモデル化することにより、効率的で解釈可能な転移強化学習の原理的フレームワークを提案する。これは、少数のターゲットドメインサンプルでのみ迅速なポリシー適応を可能にし、ポリシー最適化にかかるコストを回避する。遷移、観測、報酬関数における最小限の成分ごとの変更を特定することで、CartPoleおよびアタリゲームで優れたパフォーマンスを達成する。

ABSTRACT

One practical challenge in reinforcement learning (RL) is how to make quick adaptations when faced with new environments. In this paper, we propose a principled framework for adaptive RL, called extit{AdaRL}, that adapts reliably and efficiently to changes across domains with a few samples from the target domain, even in partially observable environments. Specifically, we leverage a parsimonious graphical representation that characterizes structural relationships over variables in the RL system. Such graphical representations provide a compact way to encode what and where the changes across domains are, and furthermore inform us with a minimal set of changes that one has to consider for the purpose of policy adaptation. We show that by explicitly leveraging this compact representation to encode changes, we can efficiently adapt the policy to the target domain, in which only a few samples are needed and further policy optimization is avoided. We illustrate the efficacy of AdaRL through a series of experiments that vary factors in the observation, transition, and reward functions for Cartpole and Atari games.

研究の動機と目的

• 変化する環境間で信頼性があり、低コストで解釈可能なポリシー転移を可能にすること。
• ドメイン間で変化が生じる「何が」「どこで」「どのように」変化するかを特定し、効率的な適応を導くこと。
• 構造的変化モデリングを活用することで、ターゲットドメインにおける広範な探索やポリシー最適化への依存を低減すること。
• 部分的に観測可能な環境を含め、MDPおよびPOMDPの両方の設定で適応を可能にすること。
• 遷移、観測、報酬関数における変化の要因を因子化し、解釈可能な表現として提供すること。

提案手法

• AdaRLは、潜在状態、観測、行動、報酬、ドメイン固有の変化要因の間の関係を動的ベイジアンネットワーク（DBN）でモデル化する。
• 構造マスク（C_so、C_srなど）を導入し、システムのどの成分が変化の対象となるかを特定することで、成分ごとの適応を可能にする。
• LSTMを用いたエンコーダデコーダアーキテクチャを採用し、混合密度ネットワークから潜在状態を推論し、観測と報酬を再構築する。
• 構造マスクおよび変化要因にスパarsity正則化を適用することで、最小限で解釈可能な変化の集合を促進する。
• 再構築、予測、KLダイバージェンス損失に基づいてモデルを訓練し、追加の正則化を用いてスパースな適応を促進する。
• 学習済みの変化構造に従って、わずかなターゲットドメインのロールアウトのみを用いて、ソースポリシーのファインチューニングによりポリシー適応を達成する。

実験結果

リサーチクエスチョン

• RQ1 遷移、観測、報酬関数におけるどの構造的変化が効率的なポリシー転移に最も関連しているか。
• RQ2 ドメイン間でのポリシー転移において、適応が必要な最小限のコンポonentは何か。
• RQ3 コンパクトで解釈可能なドメイン変化のグラフィカルモデルは、最小限のターゲットデータで迅速な適応を可能にするか。
• RQ4 部分的に観測可能な環境において、AdaRLは従来の転移強化学習手法と比較してデータ効率性とパフォーマンスで優れているか。
• RQ5 CartPoleおよびアタリ環境における多様なドメインシフトに対して、モデルはどの程度一般化可能か。

主な発見

• AdaRLは、ターゲットドメインからのわずかなサンプルのみで、CartPoleおよびアタリゲームで優れたパフォーマンスを達成し、ターゲットドメインでの探索の必要性を顕著に低減した。
• ブラックボックスなパrameter更新に依存するのではなく、構造的変化を明示的にモデル化することで、ベースラインの転移強化学習手法を上回った。
• 構造マスクの使用により、成分ごとの適応が可能となり、適応プロセスは解釈可能かつ効率的になった。
• 変化要因および構造マスクに対するスパarsity正則化により、必要な適応の最小集合が得られ、一般化性能が向上し、過学習が低減した。
• フレームワークは、観測および報酬関数のシフトに対しても耐性を示し、部分的に観測可能な環境でもポリシー適応に成功した。
• 実験的結果から、AdaRLは複雑なドメインシフト下でも高いサンプル効率を維持し、完全なポリシー再トレーニングを回避した。