[논문 리뷰] Environmental drivers of systematicity and generalization in a situated agent

Felix Hill, Andrew K. Lampinen외 5명|arXiv (Cornell University)|2019. 10. 01.

Language and cultural evolution참고 문헌 39인용 수 53

한 줄 요약

이 논문은 구현된 다중 모달 에이전트가 제로샷으로 구성적 언어-기반 행동을 일반화할 수 있으며, 일반화는 학습 데이터 다양성, 시점 제약, 현실적인 환경에서의 지각 풍부성에 의해 형성된다는 것을 보여준다.

ABSTRACT

The question of whether deep neural networks are good at generalising beyond their immediate training experience is of critical importance for learning-based approaches to AI. Here, we consider tests of out-of-sample generalisation that require an agent to respond to never-seen-before instructions by manipulating and positioning objects in a 3D Unity simulated room. We first describe a comparatively generic agent architecture that exhibits strong performance on these tests. We then identify three aspects of the training regime and environment that make a significant difference to its performance: (a) the number of object/word experiences in the training set; (b) the visual invariances afforded by the agent's perspective, or frame of reference; and (c) the variety of visual input inherent in the perceptual aspect of the agent's perception. Our findings indicate that the degree of generalisation that networks exhibit can depend critically on particulars of the environment in which a given task is instantiated. They further suggest that the propensity for neural networks to generalise in systematic ways may increase if, like human children, those networks have access to many frames of richly varying, multi-modal observations as they learn.

연구 동기 및 목표

• 표준 신경망 아키텍처가 다중 모달, 위치한 설정에서 체계적 일반화를 달성할 수 있는지 조사한다.
• 환경 요인이 구동된 언어 기반 과제에서 구성적 이해(동사/명사)의 나타남에 어떤 영향을 미치는지 결정한다.
• unseen 객체와 동작에 대한 제로샷 일반화를 향상시키는 주요 학습 규칙 요소를 식별한다.

제안 방법

• 시각(픽셀) 및 언어 입력을 가지는 다중 모달 에이전트가 3-layer CNN과 LSTM 기반 언어 모듈을 통해 관측을 처리한다.
• LSTM 기반 정책 및 가치 네트워크가 분산된 액터들을 이용한 actor-critic 프레임워크(IMPALA 스타일)로 작동한다.
• 객체를 들어 올리기/놓기하는 제로샷 일반화, 술어를 인수에 바인딩하는 평가, 다양한 환경 조건에서의 일반화 평가를 수행한다.
• EGOCENTRIC 대 allocentric 관점, 3D Unity 환경과 2D 격자 세계 간 비교 분석, 언어 감독 여부 포함/미포함 조건.
• 제어 조건으로 시각-언어 분류기가 위치한 에이전트 대비 색상-모양 일반화 과제에서의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 표준 신경망 아키텍처가 3D 인터랙티브 환경에서 동사와 명사를 새로운 객체에 대해 지-ground하고 일반화할 수 있는가?
• RQ2 환경적 및 지각적 요인이 위치한 에이전트의 체계적 일반화를 촉진하거나 저해하는가?
• RQ3 학습 다변성(단어/객체) 증가, 프레임 참조의 경계 설정, 더 풍부한 연시간 지각이 제로샷 일반화를 향상시키는가?
• RQ4 언어 감독이 구체적 작업의 체계적 일반화에 기여하는 정도는 어느 정도인가?

주요 결과

• 에타는 제로샷으로 새로운 객체 및 새로운 단어-객체 쌍에 일반화한다(들기/놓기 태스크에서).
• 학습 중 경험하는 단어/객체의 다양성을 증가시키면 일반화가 향상된다(negation 실험).
• 자아 중심의 한정된 시각적 관점이 allocentric 관점에 비해 일반화를 높인다.
• 시간적으로 풍부한 지각 입력(여러 각도에서의 이동)은 단일 프레임 지각보다 일반화를 촉진한다.
• 3D 환경에서 일반화는 유사한 2D 격자-월드 설정보다 강하고, 언어의 기여는 학습 성능에 약하게 나타나지만 일반화에 필수적이지는 않다.
• 정적 이미지에서의 시각-언어 분류기는 실제 에이전트에 비해 테스트 일반화에서 저조하며, 구현된 지각의 이점이 일반화를 촉진함을 강조한다.