[論文レビュー] Neural Predictive Belief Representations

Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar+3 more|arXiv (Cornell University)|Nov 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 47

ひとこと要約

この論文は、部分観測環境で信念-state表現を学ぶための教師なしニューラル手法（1ステップのフレーム予測、CPC、および CPC|Action）を調査し、これらの表現が状態と不確実性をエンコードすること、そして多段階の、行動条件付きCPCが視覚的に複雑な設定で最良の結果をもたらすことを示す。

ABSTRACT

Unsupervised representation learning has succeeded with excellent results in many applications. It is an especially powerful tool to learn a good representation of environments with partial or noisy observations. In partially observable domains it is important for the representation to encode a belief state, a sufficient statistic of the observations seen so far. In this paper, we investigate whether it is possible to learn such a belief representation using modern neural architectures. Specifically, we focus on one-step frame prediction and two variants of contrastive predictive coding (CPC) as the objective functions to learn the representations. To evaluate these learned representations, we test how well they can predict various pieces of information about the underlying state of the environment, e.g., position of the agent in a 3D maze. We show that all three methods are able to learn belief representations of the environment, they encode not only the state information, but also its uncertainty, a crucial aspect of belief states. We also find that for CPC multi-step predictions and action-conditioning are critical for accurate belief representations in visually complex environments. The ability of neural representations to capture the belief information has the potential to spur new advances for learning and planning in partially observable domains, where leveraging uncertainty is essential for optimal decision making.

研究の動機と目的

• 部分観測環境において、過去の観測と行動を要約する信念状態表現の学習を動機づける。
• 教師なし手法が観測から真の状態と不確実性を回復できるかを評価する。
• DeepMind Labタスクで、1ステップのフレーム予測、CPC、CPC|Actionを比較する。
• 変化する視覚的複雑さの下で、学習された表現がエージェント位置、軌道、物体位置をどれだけうまく符号化するかを評価する。
• 予測の時間的長さ（予測ステップ数）と行動条件付けが、複雑な視覚設定における表現の質にどう影響するかを検討する。

提案手法

• 3つの表現学習目的を用いる：1ステップのフレーム予測（FP）、対照的予測符号化（CPC）、および CPC|Action（アクション条件付き CPC）。
• 過去の観測と行動から信念状態 b_t を生成するGRUベースの履歴エンコーダを用いる。
• CPC/CPC|Actionについては、バッチから正例・負例を取り出してCPC分類器により b_t から未来の観測 o_{t+k} を予測する。
• FPの場合、転置畳み込みデコーダを用いて b_t から次の観測 o_{t+1} を予測する。
• 信念表現を評価するため、表現を通さずに真の状態情報を回復する補助予測器を学習する（例：エージェントの位置・向き、過去の軌跡、物体位置など）。
• アーキテクチャは、観測を z_t に埋め込むCNN、信念GRU、未来の行動を処理するアクションGRU（CPC|Action 用）、および地上真実量を予測するMLPを含む。
• アルゴリズム1は CPC|Action の学習を説明する：サブ軌道をサンプルし、信念を計算し、未来の行動を展開し、正の未来観測と負のサンプルを用いて CPC 損失を算出し、損失を平均化して更新する。）

実験結果

リサーチクエスチョン

• RQ1 教師なし手法は、部分観測環境において真の状態情報と不確実性を符号化する信念状態表現を学習できるか？
• RQ2 視覚的に豊かなドメインで、予測の長さ（1ステップ対30ステップ）と行動条件付けが学習された信念表現の質にどう影響するか？
• RQ3 学習された表現はエージェントの位置、過去の軌跡、物体位置を捉え、どの程度不確実性に対応できるか？

主な発見

Env	Algorithm	(x,y,θ)	Past (x,y,θ)	Objects (x,y)
fixed	FP	0.118±0.015	0.121±0.007	0.043±0.006
fixed	CPC 1	0.579±0.067	0.132±0.010	0.049±0.005
fixed	CPC 30	0.562±0.204	0.118±0.010	0.045±0.004
fixed	CPC|Action 1	0.689±0.057	0.137±0.006	0.049±0.004
fixed	CPC|Action 30	0.240±0.030	0.100±0.007	0.040±0.003
room	FP	0.517±0.123	0.285±0.017	0.484±0.005
room	CPC 1	2.010±0.142	0.311±0.017	0.498±0.008
room	CPC 30	0.482±0.157	0.257±0.022	0.481±0.005
room	CPC|Action 1	2.274±0.117	0.308±0.018	0.484±0.005
room	CPC|Action 30	0.689±0.066	0.276±0.029	0.484±0.008
maze	FP	0.178±0.207	0.233±0.029	0.322±0.008
maze	CPC 1	0.622±0.158	0.278±0.055	0.330±0.009
maze	CPC 30	0.244±0.058	0.213±0.031	0.325±0.015
maze	CPC|Action 1	0.638±0.094	0.264±0.028	0.323±0.010
maze	CPC|Action 30	0.182±0.034	0.206±0.029	0.323±0.010
terrain	FP	1.831±0.162	0.405±0.077	0.181±0.084
terrain	CPC 1	3.393±0.252	0.417±0.074	0.307±0.174
terrain	CPC 30	2.280±0.853	0.340±0.104	0.131±0.185
terrain	CPC|Action 1	3.348±0.482	0.414±0.042	0.312±0.049
terrain	CPC|Action 30	1.589±0.358	0.344±0.065	0.139±0.136

• 3 つの手法（FP、1ステップおよび30ステップ予測を含む CPC、そして CPC|Action）は、エージェントの位置と向き、および過去の軌跡を符号化する信念表現を学習できる。
• 表現は状態や物体に関する不確実性も符号化し、それはエージェントが観測と行動から情報を蓄積するにつれて低下する。
• 視覚的に単純な環境ではFPが位置・向きを最もよく符号化することが多いが、視覚的に複雑な地形では、マルチステップの CPC（特に CPC|Action 30）が最も良く、FPより計算効率が高い。
• CPC ベースの手法は FP より未来の観測の分布をよりよく捉え、CPC|Action は未来の行動で条件付けすることでさらに改善を提供する。
• 物体位置情報は、物体が未来の観測を大きく変化させる場合（例：テレポート相互作用）により信頼性高く捉えられる。一方、そうでなければ物体は符号化が難しく、マップ固有の手掛かりやエピソード記憶に依存していることを示す。
• 30ステップ先まで予測し、行動を取り入れる CPC|Action は、地形のような環境で信念の質を大幅に向上させ、単一ステップ予測手法と比較して優れる。