[논문 리뷰] Gated-Attention Architectures for Task-Oriented Language Grounding

Devendra Singh Chaplot, Kanthashree Mysore Sathyendra외 3명|arXiv (Cornell University)|2017. 06. 22.

Multimodal Machine Learning Applications인용 수 99

한 줄 요약

엔드-투-엔드 게이티드 어텐션 다중 모달 융합으로 3D 환경에서 자연어를 위치시키고 RL과 IL로 정책을 학습합니다. GA 유닛은 다중 태스크 및 제로-샷 일반화에서 연결(concatenation)보다 우수합니다.

ABSTRACT

To perform tasks specified by natural language instructions, autonomous agents need to extract semantically meaningful representations of language and map it to visual elements and actions in the environment. This problem is called task-oriented language grounding. We propose an end-to-end trainable neural architecture for task-oriented language grounding in 3D environments which assumes no prior linguistic or perceptual knowledge and requires only raw pixels from the environment and the natural language instruction as input. The proposed model combines the image and text representations using a Gated-Attention mechanism and learns a policy to execute the natural language instruction using standard reinforcement and imitation learning methods. We show the effectiveness of the proposed model on unseen instructions as well as unseen maps, both quantitatively and qualitatively. We also introduce a novel environment based on a 3D game engine to simulate the challenges of task-oriented language grounding over a rich set of instructions and environment states.

연구 동기 및 목표

• Raw 픽셀 입력과 자연어 지시를 사용한 작업 지향적 언어 근거화를 위한 엔드-투-엔드 아키텍처를 개발합니다.
• 시각적 표현과 언어 표현을 결합하기 위한 새로운 게이티드-어텐션 융합 메커니즘을 제안합니다.
• 3D 환경에서 지시를 실행하기 위해 강화학습과 모방학습으로 정책을 학습합니다.
• ViZDoom 기반 Doom 유사 설정에서 보지 못한 지시와 보지 못한 맵으로의 일반화를 시연합니다.

제안 방법

• 이미지를 CNN을 통해 처리하여 x_I를 얻고 지시는 GRU를 통해 x_L을 얻습니다.
• x_L에서 유도된 시그모이드 어텐션 벡터를 통해 합성곱 피처 맵을 게이트하는 새로운 Gated-Attention 단위 M_GA(x_I, x_L)로 모달리티를 융합합니다.
• 베이스라인 연결 융합 M_concat(x_I, x_L)과 GA 융합을 비교합니다.
• 정책은 엔트로피 정규화와 Generalized Advantage Estimation를 사용하는 A3C(강화학습)으로 학습하거나, 모방학습을 위해 Behavioral Cloning/DAgger를 사용합니다.
• 멀티태스크 및 제로샷 일반화를 평가하기 위해 Doom 기반 ViZDoom 환경에서 1인칭 시점과 70개의 지시 세트를 사용합니다.

실험 결과

연구 질문

• RQ1 게이트드-어텐션 다중 모달 융합이 3D 환경에서 자연어를 시각 요소에 더 잘 근거화할 수 있나요?
• RQ2 GA 융합이 연결(concatenation)보다 보지 못한 지시와 맵으로의 일반화를 더 잘 가능하게 하나요?
• RQ3 GA 융합이 있는 이 과제 설정에서 강화학습과 모방학습은 어떻게 비교되나요?
• RQ4 여러 지시에 대한 주의 맵이 속성/객체 근거화에 대해 어떤 정보를 보여주나요?

주요 결과

Model	Parameters	Easy	Medium	Hard	MT	ZSL
BC Concat	5.21M	0.86	0.71	0.23	0.15	0.20	0.15
BC GA	5.09M	0.97	0.81	0.30	0.23	0.36	0.29
DAgger Concat	5.21M	0.92	0.73	0.45	0.23	0.19	0.13
DAgger GA	5.09M	0.94	0.85	0.55	0.40	0.29	0.30
A3C Concat	3.44M	1.00	0.80	0.80	0.54	0.24	0.12
A3C GA	3.39M	1.00	0.81	0.89	0.75	0.83	0.73

• GA 유닛은 모든 난이도 모드에서 다중 태스크 및 제로-샷 일반화에 걸쳐 연결 유닛보다 우수합니다.
• 하드 모드에서 GA와 A3C의 경우 MT 83% 및 ZSL 73%를 달성하는 반면 Concat은 MT 24% 및 ZSL 12%에 불과합니다.
• GA 모델은 모방 학습(BC/DAgger)에서도 Concat을 능가하지만, 더 어려운 모드에서는 탐색이 IL에 영향을 줍니다.
• 주의 시각화는 색상과 객체 유형과 같은 속성에 대응하는 차원별 게이팅을 보여주며, 지시된 속성의 근거화를 성공적으로 시사합니다.
• 제시된 설정에서 A3C GA 모델은 A3C Concat보다 더 빠르게 학습하고 더 높은 정확도로 수렴합니다.