[논문 리뷰] A Benchmark for Systematic Generalization in Grounded Language Understanding

Laura Ruis, Jacob Andreas외 3명|arXiv (Cornell University)|2020. 03. 11.

Topic Modeling참고 문헌 37인용 수 45

한 줄 요약

본 논문은 SCAN의 grounded 확장인 gSCAN을 도입하여 그리드 월드 환경에서의 근거 있는(grounded) 체계적 구성적 일반화를 평가하며, 대부분의 일반화 분할에서 기본 모델이 크게 실패한다는 점을 보여준다.

ABSTRACT

Humans easily interpret expressions that describe unfamiliar situations composed from familiar parts ("greet the pink brontosaurus by the ferris wheel"). Modern neural networks, by contrast, struggle to interpret novel compositions. In this paper, we introduce a new benchmark, gSCAN, for evaluating compositional generalization in situated language understanding. Going beyond a related benchmark that focused on syntactic aspects of generalization, gSCAN defines a language grounded in the states of a grid world, facilitating novel evaluations of acquiring linguistically motivated rules. For example, agents must understand how adjectives such as 'small' are interpreted relative to the current world state or how adverbs such as 'cautiously' combine with new verbs. We test a strong multi-modal baseline model and a state-of-the-art compositional method finding that, in most cases, they fail dramatically when generalization requires systematic compositional rules.

연구 동기 및 목표

• grounded 언어 이해에서 SCAN과 같은 비-grounded 벤치마크를 넘어선 체계적 구성 일반화의 필요성을 동력으로 삼는다.
• grounded SCAN (gSCAN)을 소개하여 다양한 언어학적으로 동기 부여된 일반화 현상을 평가한다.
• 데이터셋 설계, 월드 상태 바인딩, 구성 일반화를 강도 높게 테스트하기 위한 평가 분할을 제공한다.
• 기반 다중 모달 시퀀스-투-시퀀스 모델과 GECA를 여덟 가지 일반화 작업에서 평가하여 현재의 한계점을 드러낸다.

제안 방법

• SCAN을 2D 그리드 월드 상태에 grounding하여 실행 가능한 지시문을 생성한다.
• d×d×c의 객체 속성(색상, 모양, 크기)과 에이전트 자세를 가진 텐서 Xs로 월드 상태 표현을 정의한다.
• BiLSTM으로 명령을 인코딩하고 CNN으로 월드 상태를 인코딩하는 멀티모달 시퀀스-투-시퀀스 기준 모델을 사용하며, 이중 주의(decoder)로 동작 시퀀스를 생성한다.
• 통제된 학습/테스트 차이를 가진 여덟 가지 체계적 일반화 분할(구성적 일반화 및 길이 일반화)을 포함한다.
• 정확 일치 정확도(exact-match)에서 분할 간의 성능을 baseline과 GECA(Good-enough Compositional Data Augmentation)로 평가한다.
• 재현성을 위해 코드와 데이터 생성을 공개적으로 제공한다.

실험 결과

연구 질문

• RQ1 신경모델이 학습 중에 보지 못한 색-모양 쌍과 같은 새로운 객체 속성 조합에 일반화할 수 있는가?
• RQ2 모델이 세계 상태에 대한 맥락-의존적 및 관계적 일반화를 보이는가(예: 크기 형용사가 세계 상태에 상대적으로 작용하는가)?
• RQ3 grounded 하에서 새로운 동사와 함께 주의적으로 악용된 부사 및 수식어를 새로운 구성에서 적용할 수 있는가?
• RQ4 모델이 새로운 동작 길이 일반화와 안내 의미의 grounding 기반 섭동을 어떻게 처리하는가?

주요 결과

Split	Baseline	GECA
A: Random	97.69 ± 0.22	87.6 ± 1.19
B: Yellow squares	54.96 ± 39.39	34.92 ± 39.30
C: Red squares	23.51 ± 21.82	78.77 ± 6.63
D: Novel direction	0.00 ± 0.00	0.00 ± 0.00
E: Relativity	35.02 ± 2.35	33.19 ± 3.69
F: Class inference	92.52 ± 6.75	85.99 ± 0.85
G: Adverb k = 1	0.00 ± 0.00	0.00 ± 0.00
G: Adverb k = 5	0.47 ± 0.14	-
G: Adverb k = 10	2.04 ± 0.95	-
G: Adverb k = 50	4.63 ± 2.08	-
H: Adverb to verb	22.70 ± 4.59	11.83 ± 0.31
I: Length	2.10 ± 0.05	-

• Baseline 멀티모달 시퀀스-투-시퀀스 모델은 대부분의 gSCAN 분할에서 실패하고 임의 분할(A)에서만 높은 정확도를 달성한다.
• GECA는 일부 분할에서 도움이 되지만(특히 빨간 정사각형 제로샷 참조) 다른 분할에서는 실패하거나 제한적인 이득을 보이며 grounding 일반화에 대한 전달이 제한적임을 시사한다.
• 색/모양 조합의 제로샷 grounding(예: 색으로 지칭된 빨간 사각형)은 여전히 기본 모델에 도전적이며 grounding 주도 일반화 격차를 드러냄.
• 일부 방향성 및 특정 관계/상대적 참조는 특히 어렵고, 몇몇 분할에서 Baseline 및 GECA 모두에서 0%의 정확도와 같은 사례가 존재한다.
• 더 긴 대상 시퀀스와 비국소적 맥락 의존 방식으로 동사에 영향을 주는 부사들로 인해 성능이 악화된다.
• 전반적으로 gSCAN은 grounding 하에서 체계적 구성 규칙을 학습하는 현재 신경 모델의 능력에 상당한 격차를 드러낸다.