[논문 리뷰] Systematic Generalization on gSCAN with Language Conditioned Embedding

Tong Gao, Qi Huang외 1명|arXiv (Cornell University)|2020. 09. 11.

Multimodal Machine Learning Applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 지능형 언어 이해에서 체계적 일반화를 위한 문맥 기반 객체 임베딩을 학습하기 위해 언어 조건부 메시지 전파 메커니즘을 제안한다. 입력 자연어에 기반해 객체 간의 관계 정보를 동적으로 집계함으로써, 모델은 gSCAN에서 최신 기술 수준의 성능을 달성하며, 특히 새로운 동작-속성 조합의 조합이 요구되는 테스트 분할에서 이전 방법들을 크게 능가한다.

ABSTRACT

Systematic Generalization refers to a learning algorithm's ability to extrapolate learned behavior to unseen situations that are distinct but semantically similar to its training data. As shown in recent work, state-of-the-art deep learning models fail dramatically even on tasks for which they are designed when the test set is systematically different from the training data. We hypothesize that explicitly modeling the relations between objects in their contexts while learning their representations will help achieve systematic generalization. Therefore, we propose a novel method that learns objects' contextualized embeddings with dynamic message passing conditioned on the input natural language and end-to-end trainable with other downstream deep learning modules. To our knowledge, this model is the first one that significantly outperforms the provided baseline and reaches state-of-the-art performance on grounded-SCAN (gSCAN), a grounded natural language navigation dataset designed to require systematic generalization in its test splits.

연구 동기 및 목표

• 딥 러닝 모델이 체계적 일반화에서 실패하는 문제를 해결하기 위해, 특히 새로운 개념 조합의 조합이 요구되는 작업에서의 실패를 다루기 위해.
• 문자열 입력에 기반해 문맥 내 객체 간의 관계를 명시적으로 모델링하여 객체 표현 학습을 향상시키기 위해.
• 지능형 탐색 작업에서 새로운 의미 조합에 대한 제로샷 일반화를 향상시키기 위해 엔드 투 엔드로 훈련 가능한 아키텍처를 개발하기 위해.
• gSCAN을 평가하기 위해, 테스트 세트에서 체계적 분포 이동을 통해 체계적 일반화를 테스트할 수 있도록 설계된 벤치마크를 사용하기 위해.

제안 방법

• 모델은 격자 세계 내 모든 객체 쌍 간의 동적 메시지 전파를 통해 관계 정보를 집계한다.
• 메시지 전파 가중치는 입력 자연어 문장에 조건화되어 있어, 문맥 인식 기반의 객체 특징 집계를 가능하게 한다.
• 각 객체의 체계적 임베딩은 다른 모든 객체로부터 온 메시지의 가중치 합으로 계산되며, 가중치는 입력 문장에 의해 결정된다.
• 이 방법은 탐색을 위한 후행 동작 시퀀스 디코더와 함께 엔드 투 엔드 훈련 파이프라인에 통합된다.
• 모델은 에이전트와 모든 객체를 메시지 전파 그래프 내 동일한 노드로 간주하며, 메시지 전파 중에 간선 유형에 대한 구분이 없다.
• 제거 실험을 통해 언어 조건부 메시지 전파의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 언어 조건부 메시지 전파가 시각-언어 탐색 작업에서 체계적 일반화를 향상시킬 수 있는가?
• RQ2 관계적 구조와 입력 언어에 기반해 체계적 객체 임베딩을 학습하는 것이 새로운 동작-속성 쌍의 제로샷 조합을 향상시키는가?
• RQ3 특히 체계적 일반화를 테스트하기 위해 설계된 테스트 분할을 고려할 때, 제안된 방법은 강력한 베이스라인과 어떻게 비교되는가?
• RQ4 다른 분할에서는 개선되었음에도 불구하고, 일부 테스트 분할(예: 분할 B)에서 모델이 여전히 실패하는 이유는 무엇인가?

주요 결과

• 제안된 모델은 gSCAN에서 최신 기술 수준의 성능을 달성하며, 분할 G(93.02% 정확 일치)와 분할 E(99.08%)를 포함한 여러 테스트 분할에서 베이스라인을 크게 능가한다.
• 제거 실험 결과, 언어 조건부 메시지 전파가 대부분의 분할에서 성능 향상을 이끌어내지만, 분할 F에서는 약간의 성능 저하가 발생하여, 부사 어휘 의미 학습과 동작 어휘 의미 학습 간의 상충 관계가 있음을 시사한다.
• 분할 B에서의 실패는 모델이 새로운 방향으로 동작 시퀀스를 일반화하지 못하기 때문이며, 에이전트 상태 변화를 모델링하지 못한 채 막연하게 동작를 생성하기 때문이다.
• 모델은 어텐션을 통해 목표 위치를 정확히 식별하지만, 유효한 경로를 생성하지 못함으로써, 탐색 중에 동적 상태 모델링이 부족하다는 것을 보여준다.
• 결과는 현재 모델들이 여전히 시점 인식 및 상태 전이 모델링에 어려움을 겪고 있으며, 특히 낯선 방향을 포함한 동작가능성이 높은 상황에서 그러한 어려움이 더 두드러진다는 것을 시사한다.
• 저자들은 환경 역학과 에이전트-환경 상호작용을 더 잘 포착하기 위해 모델 기반 강화 학습 또는 유형별 메시지 전파가 필요하다고 지적한다.