[論文レビュー] Compositional Learning of Visually-Grounded Concepts Using Reinforcement

Zijun Lin, Haidi Azaman+2 more|arXiv (Cornell University)|Sep 8, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、視覚的に根拠づけられた色・形状の概念を別々に学習した後、それらを組み合わせることで、未学習の命令組み合わせにおいて20倍速い学習を達成し、強力なゼロショット一般化を実現する構成的強化学習フレームワークを提案する。色・形状といった個々の概念で事前学習し、CLIPなどの固定されたテキストエンコーダーを活用することで、3Dナビゲーション環境において、サンプルの複雑さが著しく低減され、分離可能な表現学習が向上する。

ABSTRACT

Children can rapidly generalize compositionally-constructed rules to unseen test sets. On the other hand, deep reinforcement learning (RL) agents need to be trained over millions of episodes, and their ability to generalize to unseen combinations remains unclear. Hence, we investigate the compositional abilities of RL agents, using the task of navigating to specified color-shape targets in synthetic 3D environments. First, we show that when RL agents are naively trained to navigate to target color-shape combinations, they implicitly learn to decompose the combinations, allowing them to (re-)compose these and succeed at held-out test combinations ("compositional learning"). Second, when agents are pretrained to learn invariant shape and color concepts ("concept learning"), the number of episodes subsequently needed for compositional learning decreased by 20 times. Furthermore, only agents trained on both concept and compositional learning could solve a more complex, out-of-distribution environment in zero-shot fashion. Finally, we verified that only text encoders pretrained on image-text datasets (e.g. CLIP) reduced the number of training episodes needed for our agents to demonstrate compositional learning, and also generalized to 5 unseen colors in zero-shot fashion. Overall, our results are the first to demonstrate that RL agents can be trained to implicitly learn concepts and compositionality, to solve more complex environments in zero-shot fashion.

研究の動機と目的

• 深層強化学習エージェントが、以前に学習した概念から新しい色・形状の命令を合成できるかどうかを調査すること。
• 個々の視覚言語的概念（色、形状）で事前学習することで、構成的タスクの学習がどのように加速するかを評価すること。
• 概念および構成的学習の後、未学習の色・形状1・形状2の組み合わせに対してゼロショット一般化性能を評価すること。
• 固定されたテキストエンコーダー（例：CLIP、BERT）が、視覚言語命令学習におけるサンプル効率に与える影響を検討すること。
• LSTM活性化埋め込みを用いた主成分分析により、学習された表現の構造を分析し、分離性および一般化の理解を深めること。

提案手法

• 著者らは、エージェントが色・形状の命令に従って物体へナビゲートする必要がある、視覚言語ナビゲーション用の3つの3D環境を開発した。
• エージェントは、言語および視覚入力を処理するLSTMベースのポリシーネットワークを用いた深層強化学習で訓練された。
• 概念事前学習は、色のみおよび形状のみの命令で別々に訓練した後、色・形状の組み合わせで共同訓練を行う。
• フレームワークは、訓練中に見られなかった新しい色・形状1・形状2の組み合わせに対してゼロショット一般化を評価する。
• 固定されたテキストエンコーダー（CLIP、BERT）を用いて、事前学習済みの意味的表現を提供し、エンドツーエンドからの再訓練の必要性を低減する。
• LSTM活性化埋め込みは主成分分析（PCA）を用いて分析され、表現空間における新しい組み合わせの分離性が可視化された。

Figure 1: Two example environments. Left column shows the top-view of the environments. Right column shows the first-person view (128x128) of the RL agent. Top and bottom rows show the C $+$ S environment (target instruction is “red sphere”) and the C $+$ S $+$ S environment (target instruction is “

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、言語ベースの命令を分解・再構成することで、未学習の色・形状の組み合わせに一般化できるか？
• RQ2 個々の視覚言語的概念（色、形状）で事前学習することで、構成的学習に必要な訓練エピソード数が減少するか？
• RQ3 固定されたテキストエンコーダー（例：CLIP）を用いることで、視覚言語ナビゲーションタスクにおけるサンプル効率はどのように変化するか？
• RQ4 LSTM層における学習済み表現は、新しい命令の組み合わせをどれほど分離可能で組織的に符号化できるか？
• RQ5 表現の構造（例：PCAの次元数）は、ゼロショット一般化性能にどのような影響を及えるか？

主な発見

• 色と形状の概念を別々に事前学習したエージェントは、未学習の色・形状の組み合わせを解くために必要な訓練エピソード数を20倍削減した。
• 最もパフォーマンスの優れたエージェントは、色・形状の概念で事前学習し、その後合成タスクでファインチューニングした結果、ゼロショット評価で熟練済みおよび未学習の色・形状1・形状2の組み合わせの両方で報酬5.5を達成した。
• 合成命令で直接訓練されたエージェントは、LSTM層で著しく重複する表現を示し、主成分が90％の分散を説明するのにわずか2つで十分であった。これは、表現の分離性が低いことを示している。
• それに対して、構成の前段階で概念を事前学習したエージェントは、90％の分散を説明するのに少なくとも6つの主成分を必要としており、より組織的かつ分離可能な表現空間であることが示された。
• 事前学習済みエージェントの埋め込み空間では、類似した新しい組み合わせ（例：'プリズム・スフィア' と 'カプセル・シリンダー'）が空間的にクラスタリングされており、効果的なゼロショットナビゲーションが可能であった。
• 概念学習の事前学習は、ゼロショット一般化を著しく向上させた。これは、個々の概念の構造的学習が、RLエージェントにおける構成的推論を強化することを示している。

Figure 2: Agent architecture. The language module of the One-hot encoder agent is demarcated with dotted lines, and the language model of the agent with: A ) Vanilla text encoder, B ) BERT text encoder, C ) CLIP text encoder are shown respectively. BERT text encoder and CLIP text encoder are both pr