[論文レビュー] Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning

Haoqi Yuan, Zongqing Lu|arXiv (Cornell University)|Jun 21, 2022

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本稿では、オフラインメタ強化学習における頑健なタスク表現学習を目的として、タスクの識別子と行動方策の特徴を分離する対照的学習フレームワークCORROを提案する。個々の遷移タプルを二段階のネットワークで符号化し、方策に頑健なネガティブサンプリングを用いたInfoNCEに基づく対照的目的関数を最適化することで、分布外の行動方策に対しても優れた一般化性能を達成し、OODベンチマークにおいて先行手法を最大115%上回る報酬を達成する。

ABSTRACT

We study offline meta-reinforcement learning, a practical reinforcement learning paradigm that learns from offline data to adapt to new tasks. The distribution of offline data is determined jointly by the behavior policy and the task. Existing offline meta-reinforcement learning algorithms cannot distinguish these factors, making task representations unstable to the change of behavior policies. To address this problem, we propose a contrastive learning framework for task representations that are robust to the distribution mismatch of behavior policies in training and test. We design a bi-level encoder structure, use mutual information maximization to formalize task representation learning, derive a contrastive learning objective, and introduce several approaches to approximate the true distribution of negative pairs. Experiments on a variety of offline meta-reinforcement learning benchmarks demonstrate the advantages of our method over prior methods, especially on the generalization to out-of-distribution behavior policies. The code is available at https://github.com/PKU-AI-Edge/CORRO.

研究の動機と目的

• テスト時の行動方策がトレーニング時と異なる場合に、オフラインメタ強化学習におけるタスク表現の不安定性を解消すること。
• トレーニングデータの分布を共同で決定するタスク識別子と行動方策の特徴を、オフラインデータセット内で分離すること。
• 実用的なオフラインメタ強化学習における主要な挑戦である、分布外（OOD）行動方策への一般化を向上させること。
• 行動方策の変化に対して不変なタスク表現を学習する対照的学習フレームワークを開発すること。
• 真のネガティブ遷移の分布を近似する効果的なネガティブペア生成戦略の設計

提案手法

• 二段階のエンコーダ構造を提案：第一段階は個々の遷移タプル（s, a, r, s'）を符号化し、第二段階はタプル間の表現を集約してタスク埋め込みを生成する。
• タスク表現学習を、行動方策の影響を最小限に抑えた真のタスクとの相互情報量最大化として定式化する。
• 正例ペア（同じタスク）間の類似度を最大化し、負例ペア（異なるタスク）間の類似度を最小化する目的関数として、InfoNCEの下界に基づく対照的学習目的関数を導出する。
• 二つのネガティブペア生成手法を導入：生成モデル（CVAEを用いて遷移をサンプリング）と報酬ランダマイゼーション（報酬を摂動して多様なネガティブ例を生成）。
• 比較のため、リラベルとベースライン「None」手法を用いる。この場合、異なるタスクの遷移からネガティブペアを形成し、(s, a)が異なる可能性がある。
• 分布シフトに頑健であるよう、表現ネットワークを最適化するため、InfoNCEに基づく対照的損失を採用する。

実験結果

リサーチクエスチョン

• RQ1 オフラインメタ強化学習において、遷移タプルに対する対照的学習は、行動方策の分布シフトに対するタスク表現の頑健性を向上させるか？
• RQ2 異なるネガティブペア生成戦略は、オフラインメタ強化学習におけるOOD一般化にどのように影響するか？
• RQ3 全軌道ではなく個々の遷移からの学習は、行動方策特徴のメモリズエーションを低減するか？
• RQ4 提案手法は、真のタスク記述を用いた教師ありベースラインを上回る一般化性能を示すか？
• RQ5 ネガティブサンプリング戦略の選択が、分布外行動方策下での性能に与える影響は何か？

主な発見

• Point-Robotベンチマークにおいて、CORROはOOD行動方策下で最高の平均報酬（-5.59 ± 0.57）を達成し、FOCAL（-8.64 ± 0.26）とPEARL（-7.06 ± 0.99）を上回った。
• Half-Cheetah-Vel環境では、CORROがOODテストで-42.9 ± 0.7の報酬を達成し、FOCAL（-208.2）とPEARL（-35.4 ± 1.8）を著しく上回った。
• Point-Robotでは、行動方策が非常に方向的かつ重複のない性質を持つため、報酬ランダマイゼーション手法が生成モデルを上回る性能を示し、手法に依存した有効性を示した。
• 「None」ネガティブサンプリング手法（異なるタスクのランダムな遷移を用いる）は、OOD Half-Cheetah-Velで-97.6の報酬を達成し、FOCAL（-204.1）を上回った。これは、遷移レベルでの学習がOOD一般化を向上させることを示唆している。
• CORROのInfoNCE損失を用いてFOCALを再実装した結果、OOD Half-Cheetah-Velで-208.2の報酬を達成し、元のFOCALとほぼ同等だった。これは、対照的損失自体では不十分であり、遷移レベルの符号化が鍵であることを示している。
• コンテキスト収集にランダム探索が用いられた環境でも、CORROは最良の適応性能を示し、非最適な方策によるコンテキストデータ収集に対しても頑健であることを実証した。