[논문 리뷰] Grounded Language Learning Fast and Slow

Felix Hill, Olivier Tieleman외 4명|arXiv (Cornell University)|2021. 05. 03.

Multimodal Machine Learning Applications참고 문헌 28인용 수 32

한 줄 요약

이 논문은 3D 시뮬레이션 환경에서 새로운 단어(예: 'dax')를 시각적 입력과 언어적 입력에 연결함으로써 일회성 단어 학습을 달성하는 이중코딩 외부 메모리가 탑재된 강화학습 에이전트를 제안한다. 단 한 번의 노출 이후, 에이전트는 동일한 ShapeNet 카테고리 내의 새로운 예시들에 대해 바인딩을 일반화하고, 이중코딩을 통해 알려지지 않은 물체를 이름 붙이기 위한 내재적 동기를 이끌어낸다.

ABSTRACT

Recent work has shown that large text-based neural language models acquire a surprising propensity for one-shot learning. Here, we show that an agent situated in a simulated 3D world, and endowed with a novel dual-coding external memory, can exhibit similar one-shot word learning when trained with conventional RL algorithms. After a single introduction to a novel object via visual perception and language (This is a dax), the agent can manipulate the object as instructed (Put the dax on the bed), combining short-term, within-episode knowledge of the nonsense word with long-term lexical and motor knowledge. We find that, under certain training conditions and with a particular memory writing mechanism, the agent's one-shot word-object binding generalizes to novel exemplars within the same ShapeNet category, and is effective in settings with unfamiliar numbers of objects. We further show how dual-coding memory can be exploited as a signal for intrinsic motivation, stimulating the agent to seek names for objects that may be useful later. Together, the results demonstrate that deep neural networks can exploit meta-learning, episodic memory and an explicitly multi-modal environment to account for 'fast-mapping', a fundamental pillar of human cognitive development and a potentially transformative capacity for artificial agents.

연구 동기 및 목표

• 인공 에이전트가 구조화된 메모리와 다중모달 인식을 활용해 인간의 빠른 맵핑과 유사한 일회성 단어 학습을 달성할 수 있는지 조사하기 위해.
• 이중코딩 메모리가 단기적 에피소드 수준 지식과 장기적 어휘-운동 연합을 모두 지원하는 방식을 검토하기 위해.
• 이중코딩 메모리가 제로샷 물체 이름 붙이기에서 내재적 동기 신호로 기능할 수 있는지 탐색하기 위해.
• 동일한 ShapeNet 카테고리 내의 새로운 예시들에 대해 단어-물체 바인딩의 일반화 성능을 평가하기 위해.

제안 방법

• 에이전트는 물체-언어 쌍의 에피소드적(단기적) 및 의미적(장기적) 표현을 별도로 저장하는 이중코딩 외부 메모리 시스템을 사용한다.
• 학습은 언어 기반 탐색 및 조작 작업의 성공 여부에 따라 보상 신호가 조정된 전통적인 딥 강화학습을 활용한다.
• 메모리 쓰기 메커니즘은 새로운 단어가 처음으로 물체-단어 쌍과 함께 노출될 때 이를 에피소드적 메모리와 의미적 메모리 양쪽에 동적으로 인코딩한다.
• 에이전트는 3D 시뮬레이션 환경의 시각적 특징과 언어 임베딩을 활용해 다중모달 연관을 형성한다.
• 내재적 동기는 환경 내 태그되지 않은 물체의 존재에 의해 유도되며, 향후 작업 성능 향상을 위해 이를 이름 붙이기 위한 탐색을 장려한다.
• 일반화 평가는 동일한 ShapeNet 카테고리에서의 새로운 인스턴스와 다양한 물체 수를 가진 상황에서의 단어-물체 바인딩 성능을 테스트함으로써 평가된다.

실험 결과

연구 질문

• RQ1 3D 시뮬레이션 환경에서 단 한 번의 노출 이후에 에이전트가 새로운 단어-물체 연관을 학습할 수 있는가?
• RQ2 이중코딩 메모리는 즉각적인 작업 수행과 단어-물체 바인딩의 장기적 유지 모두에 기여하는가?
• RQ3 에이전트는 동일한 ShapeNet 카테고리 내의 새로운 예시들에 대해 일회성 단어-물체 바인딩을 일반화할 수 있는가?
• RQ4 에이전트의 일반화 능력은 알려지지 않은 수의 물체가 존재하는 조건에서도 견고한가?
• RQ5 이중코딩 메모리는 알려지지 않은 물체를 탐색하고 이름 붙이기 위한 내재적 동기 신호로 기능할 수 있는가?

주요 결과

• 에이전트는 새로운 단어와 물체에 대한 단 한 번의 노출 이후에도 언어 기반 조작 작업(예: 'dax를 침대 위에 올려라')을 성공적으로 수행한다.
• 이중코딩 메모리는 단기적 에피소드 지식과 장기적 어휘 및 운동 지식을 통합하여 효과적인 작업 수행을 가능하게 한다.
• 특정 학습 조건과 적절한 메모리 쓰기 메커니즘 하에서, 단어-물체 바인딩은 동일한 ShapeNet 카테고리 내의 새로운 예시들로 일반화된다.
• 에이전트는 시나리오에서의 물체 수가 학습 시나리오와 다를 경우에도 단어-물체 바인딩을 효과적으로 일반화한다.
• 이중코딩 메커니즘은 내재적 동기의 타당한 신호로 기능하며, 향후 작업 성능 향상을 위해 태그되지 않은 물체에 이름을 붙이기 위한 탐색을 유도한다.
• 결과적으로, 딥 신경망이 메타학습, 에피소드 메모리, 다중모달 환경 상호작용을 통해 빠른 맵핑을 지원할 수 있음을 보여준다.