[論文レビュー] Action-Sufficient State Representation Learning for Control with Structural Constraints

Biwei Huang, Chaochao Lu+5 more|arXiv (Cornell University)|Oct 12, 2021

Reinforcement Learning in Robotics参考文献 51被引用数 5

ひとこと要約

本稿では、部分的に観測可能な環境における最適方策学習に必要な情報のみを捉える最小で構造的制約を受ける状態表現であるアクション十分状態表現（ASR）を提案する。環境の生成プロセスをモデル化し、報酬最大化から導かれる構造的制約を活用することで、著者らは構造的逐次変分オートエンコーダー（SS-VAE）を構築し、コン pact で解釈可能な ASR を学習した。この手法は、CarRacing および VizDoom ベンチマークにおいて、サンプル効率およびモデル効率を向上させた。

ABSTRACT

Perceived signals in real-world scenarios are usually high-dimensional and noisy, and finding and using their representation that contains essential and sufficient information required by downstream decision-making tasks will help improve computational efficiency and generalization ability in the tasks. In this paper, we focus on partially observable environments and propose to learn a minimal set of state representations that capture sufficient information for decision-making, termed extit{Action-Sufficient state Representations} (ASRs). We build a generative environment model for the structural relationships among variables in the system and present a principled way to characterize ASRs based on structural constraints and the goal of maximizing cumulative reward in policy learning. We then develop a structured sequential Variational Auto-Encoder to estimate the environment model and extract ASRs. Our empirical results on CarRacing and VizDoom demonstrate a clear advantage of learning and using ASRs for policy learning. Moreover, the estimated environment model and ASRs allow learning behaviors from imagined outcomes in the compact latent space to improve sample efficiency.

研究の動機と目的

• 高次元でノイズの多い観測による深層強化学習の非効率性と解釈不能性の問題に対処すること。
• 部分的に観測可能な環境における最適方策学習に、最小限かつ十分な状態表現の集合を同定すること。
• 報酬最大化目的から導かれる構造的制約を用いて、アクション十分状態表現（ASR）の概念を形式化すること。
• 信頼性ある ASR の抽出を可能にするとともに解釈可能性と後続方策の性能を維持する、構造的生成モデルおよび推論手法の開発

提案手法

• POMDPフレームワーク内で、観測、状態、行動、報酬、ダイナミクスの間の関係を明示的にエンコードする生成環境モデルを定式化すること。
• 生成モデルにおける構造的制約を通じて、報酬に直接的または間接的に因果的に関連する最小限の状態変数として ASR を特徴づけること。
• 観測、状態、行動、報酬の同時分布をモデル化し、学習可能な隣接行列を用いて構造的スパarsity を強制する、構造的逐次変分オートエンコーダー（SS-VAE）を開発すること。
• 変分推論フレームワークを用いて、環境モデルと ASR 抽出を同時に最適化し、相互情報量の最小化による正則化項を導入することで、低次元で最小限の表現を促進すること。
• 学習された ASR を後続方策学習に統合し、コンact な潜在空間におけるサンプル効率の高い模倣と計画を可能にすること。
• 訓練の安定性と表現品質を向上させるために、重み正規化およびアーキテクチャ的制約（例：MDNヘッド、LSTMエンコーダー）を適用すること。

実験結果

リサーチクエスチョン

• RQ1 部分的に観測可能な環境において、最適意思決定に必要な最小限の状態変数は何か？
• RQ2 環境の生成プロセスにおける構造的制約をどのように活用して、最小限かつ十分な状態表現を同定できるか？
• RQ3 構造的変分オートエンコーダーは、高次元観測から信頼性高くアクション十分状態表現（ASR）を学習・抽出できるか？
• RQ4 ASR は、モデルベース強化学習におけるサンプル効率およびモデル性能をどの程度向上させるか？
• RQ5 ASR のコンパクトな潜在空間における想像上のロールアウトから、行動方策を効果的に学習できるか？

主な発見

• 21次元のASR表現は、VizDoomの「カバーを取る」タスクで、生の観測と標準的な状態表現を上回る優れた性能を達成した。
• 推定された構造的行列はスパースな接続性を示した：報酬に影響を与える状態次元の少数が確認され、行動に影響を受ける次元も少数であった。これは、学習されたASRが最小かつ十分であることを裏付けた。
• ASRを用いた方策学習により、サンプル効率が著しく向上し、実環境における危険な探索の必要性が減少した。
• 学習された環境モデルにより、潜在空間における想像された結果から効果的な行動学習が可能となり、コンパクトな表現を用いたモデルベース計画の可能性を示した。
• SS-VAEフレームワークは、関連する状態ダイナミクスを明確に分離し、タスクの下位構造と整合する解釈可能な低次元表現を抽出した。
• CarRacingおよびVizDoomにおける実験的結果は、ASRに基づく方策が、生の観測で学習された方策よりも一般化性能が高く、より少ない相互作用で学習可能であることを確認した。