[논문 리뷰] Compositional Learning of Visually-Grounded Concepts Using Reinforcement

Zijun Lin, Haidi Azaman외 2명|arXiv (Cornell University)|2023. 09. 08.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 에이전트가 사전에 별도로 시각적으로 기반한 색상-형태 개념을 학습한 후 조합함으로써, 새로운 지시 조합에서 20배 빠른 학습과 강력한 제로샷 일반화를 달성하는 조합형 강화학습 프레임워크를 제안한다. 색상/형태와 같은 개별 개념에서 사전학습을 수행하고 CLIP와 같은 고정된 텍스트 인코더를 활용함으로써, 3D 탐색 환경에서 샘플 복잡도를 크게 감소시키고 분리된 표현 학습을 향상시킨다.

ABSTRACT

Children can rapidly generalize compositionally-constructed rules to unseen test sets. On the other hand, deep reinforcement learning (RL) agents need to be trained over millions of episodes, and their ability to generalize to unseen combinations remains unclear. Hence, we investigate the compositional abilities of RL agents, using the task of navigating to specified color-shape targets in synthetic 3D environments. First, we show that when RL agents are naively trained to navigate to target color-shape combinations, they implicitly learn to decompose the combinations, allowing them to (re-)compose these and succeed at held-out test combinations ("compositional learning"). Second, when agents are pretrained to learn invariant shape and color concepts ("concept learning"), the number of episodes subsequently needed for compositional learning decreased by 20 times. Furthermore, only agents trained on both concept and compositional learning could solve a more complex, out-of-distribution environment in zero-shot fashion. Finally, we verified that only text encoders pretrained on image-text datasets (e.g. CLIP) reduced the number of training episodes needed for our agents to demonstrate compositional learning, and also generalized to 5 unseen colors in zero-shot fashion. Overall, our results are the first to demonstrate that RL agents can be trained to implicitly learn concepts and compositionality, to solve more complex environments in zero-shot fashion.

연구 동기 및 목표

• 딥 강화학습 에이전트가 이전에 학습한 개념들로부터 새로운 색상-형태 지시어를 조합할 수 있는지 조사하기 위해.
• 개별 시각어휘적 개념(색상, 형태)에서의 사전학습이 조합 학습의 학습 속도를 가속화하는지 평가하기 위해.
• 개념 학습 및 조합 학습 이후에 새로운 색상-형태1-형태2 조합에서의 제로샷 일반화 성능을 평가하기 위해.
• 고정된 텍스트 인코더(예: CLIP, BERT)가 시각어휘적 지시어 학습에서 샘플 효율성에 미치는 영향을 분석하기 위해.
• LSTM 활성화 임베딩을 통한 분석을 통해 학습된 표현의 구조를 분석하고, 분리성과 일반화를 이해하기 위해.

제안 방법

• 저자는 시각어휘적 탐색을 위한 세 개의 3D 환경을 개발하여, 에이전트가 색상-형태 지시에 따라 물체를 향해 이동해야 하는 상황을 설정하였다.
• 에이전트는 언어 및 시각 입력을 처리하기 위해 LSTM 기반 정책 네트워크를 사용하는 딥 강화학습으로 훈련되었다.
• 개념 사전학습은 색상 전용 및 형태 전용 지시어에서 별도로 훈련한 후, 색상-형태 조합에서 공동 훈련을 수행하는 방식이다.
• 프레임워크는 사전 훈련 기간 동안 볼 수 없었던 새로운 색상-형태1-형태2 조합에서 제로샷 일반화를 평가한다.
• 고정된 텍스트 인코더(CLIP, BERT)를 사용하여 사전학습된 의미 표현을 제공함으로써, 종래의 엔드 투 엔드 훈련에서의 필요성을 줄였다.
• PCA를 통해 LSTM 활성화 임베딩을 분석하여 표현 공간에서 새로운 조합이 얼마나 잘 분리되어 있는지 시각화하였다.

Figure 1: Two example environments. Left column shows the top-view of the environments. Right column shows the first-person view (128x128) of the RL agent. Top and bottom rows show the C $+$ S environment (target instruction is “red sphere”) and the C $+$ S $+$ S environment (target instruction is “

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 언어 기반 지시어를 분해하고 재조합하여 볼 수 없었던 색상-형태 조합으로 일반화할 수 있는가?
• RQ2 개별 시각어휘적 개념(색상, 형태)에서의 사전학습이 조합 학습에 필요한 훈련 에피소드 수를 줄이는가?
• RQ3 고정된 텍스트 인코더(예: CLIP)를 사용할 경우 시각어휘적 탐색 작업에서 샘플 효율성에 어떤 영향을 미치는가?
• RQ4 LSTM 레이어에서 학습된 표현이 새로운 지시어 조합의 분리되고 조직화된 인코딩을 얼마나 잘 지원하는가?
• RQ5 표현 구조(예: PCA 차원 수)가 제로샷 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 별도로 색상 및 형태 개념에서 사전학습한 에이전트는 볼 수 없었던 색상-형태 조합을 해결하기 위해 필요한 훈련 에피소드 수를 20배 감소시켰다.
• 가장 높은 성능을 보인 에이전트는 색상/형태 개념에서 사전학습한 후 복합 지시어에서 미세조정을 수행했으며, 제로샷 평가에서 익숙한 지시어와 볼 수 없었던 색상-형태1-형태2 조합 모두에서 보상 5.5를 기록했다.
• 직접 복합 지시어에서 훈련된 에이전트는 LSTM 레이어에서 매우 겹치는 표현을 보였으며, 분산의 90%를 설명하는 데 단 두 개의 주성분만으로도 충분했다. 이는 낮은 분리성의 징후였다.
• 반대로, 조합 이전에 개념에서 사전학습한 에이전트는 분산의 90%를 설명하기 위해 최소 6개의 주성분이 필요했으며, 더 조직화되고 분리된 표현 공간을 보였다.
• 사전학습된 에이전트의 임베딩 공간은 유사한 새로운 조합(예: '프리즘 구형'과 '캡슐 실린더')이 별도의 하위공간에 군집되어 있음을 보여주어 효과적인 제로샷 탐색을 가능하게 했다.
• 개념 학습에서의 사전학습은 제로샷 일반화를 크게 향상시켰으며, 개별 개념의 체계적 학습이 RL 에이전트의 조합적 추론 능력을 향상시킨다는 것을 입증했다.

Figure 2: Agent architecture. The language module of the One-hot encoder agent is demarcated with dotted lines, and the language model of the agent with: A ) Vanilla text encoder, B ) BERT text encoder, C ) CLIP text encoder are shown respectively. BERT text encoder and CLIP text encoder are both pr