[논문 리뷰] ReaSCAN: Compositional Reasoning in Language Grounding

Zhengxuan Wu, Elisa Kreiss외 2명|arXiv (Cornell University)|2021. 09. 18.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 지능형 언어 이해에서 구성적 일반화를 철저히 평가하기 위해 gSCAN을 확장한 합성 기반 벤치마크 데이터셋인 ReaSCAN을 소개한다. 복잡한 혼동 요소를 도입하고 개체와 관계에 대한 정밀한 추론을 요구함으로써 ReaSCAN은 gSCAN보다 훨씬 더 높은 난이도를 보이며, 이는 신경망 모델의 구성적 추론 능력을 탐사하는 데 유용함을 입증한다.

ABSTRACT

The ability to compositionally map language to referents, relations, and actions is an essential component of language understanding. The recent gSCAN dataset (Ruis et al. 2020, NeurIPS) is an inspiring attempt to assess the capacity of models to learn this kind of grounding in scenarios involving navigational instructions. However, we show that gSCAN's highly constrained design means that it does not require compositional interpretation and that many details of its instructions and scenarios are not required for task success. To address these limitations, we propose ReaSCAN, a benchmark dataset that builds off gSCAN but requires compositional language interpretation and reasoning about entities and relations. We assess two models on ReaSCAN: a multi-modal baseline and a state-of-the-art graph convolutional neural model. These experiments show that ReaSCAN is substantially harder than gSCAN for both neural architectures. This suggests that ReaSCAN can serve as a valuable benchmark for advancing our understanding of models' compositional generalization and reasoning capabilities.

연구 동기 및 목표

• gSCAN의 한계를 해결하기 위해, 지나치게 제약된 지시 설계와 관련이 없는 혼동 요소로 인해 진정한 구성적 해석을 요구하지 않는 문제를 해결하고자 한다.
• 지능형 시각 환경에서 개체와 관계에 대한 구성적 언어 해석과 추론을 강제하는 벤치마크를 개발하고자 한다.
• 모델의 실패와 일반화 능력을 세밀하게 진단할 수 있도록 제어 가능한, 알고리즘적으로 생성된 데이터셋을 만들고자 한다.
• 최신 기술 모델이 gSCAN의 시나리오보다 더 복잡하고 현실적인 상황에서 구성적으로 일반화할 수 있는지 평가하고자 한다.
• 미래의 구성적 지능형 언어 이해에 초점을 맞춘 벤치마크 설계를 위한 재사용 가능한 프레임워크를 제공하고자 한다.

제안 방법

• ReaSCAN은 작업 난이도와 구성성에 대한 정밀한 제어를 가능하게 하여 시스템적 모델 행동 평가가 가능하도록 알고리즘적으로 생성된다.
• 복잡한 혼동 요소 샘플링 전략을 도입하여 정확한 언어적 및 공간적 추론의 필요성을 높인다.
• 격자 세계는 지시문에 포함된 모든 수식어가 의미적으로 관련이 있도록 설계되어, 관련 없는 세부 정보로 인한 성능 과대평가를 방지한다.
• 벤치마크는 자연어 명령어에 공간적 및 관계적 속성을 포함한 참조 대상 선택 작업을 사용하며, 모델은 정확한 객체를 식별해야 한다.
• 두 모델이 평가되었는데, 다중 모odal 기반 모델과 그래프 컬러레이션 신경망(GCN) 모델이며, 모두 ReaSCAN에서 훈련 및 테스트되어 gSCAN과 비교되었다.
• 혼동 요소 기반 오류 추적을 사용한 실패 분석을 수행하여 오류가 수식어, 관계 또는 참조 대상의 오해에서 기인하는지 확인하였다.

실험 결과

연구 질문

• RQ1 gSCAN이 비구성적 해결책을 허용할 수 있는 반면, ReaSCAN은 얼마나 구성적 해석을 강제하는가?
• RQ2 최신 기술 모델의 성능은 ReaSCAN에서 gSCAN에 비해 어떻게 나타나며, 증가한 복잡성이 상당한 성능 저하를 초래하는가?
• RQ3 복잡한 혼동 요소 샘플링 전략은 구성적 추론에 실패할 경우 모델 성능을 효과적으로 떨어뜨릴 수 있는가?
• RQ4 명령어에 관계적 및 공간적 수식어를 포함함으로써 구성적 일반화의 평가가 더 견고해지는가?
• RQ5 이 데이터셋은 모델이 수식어나 관계를 잘못 이해하는 등의 특정 실패 유형을 진단하는 데 사용될 수 있는가?

주요 결과

• 다중 모달 기반 모델과 그래프 컬러레이션 신경망 모델 모두 ReaSCAN에서 gSCAN보다 훨씬 더 높은 난이도를 보이며, 상당한 성능 저하가 관찰되었다.
• ReaSCAN에서의 성능 저하는 gSCAN에서 훈련된 모델이 더 복잡하고 현실적인 상황으로의 구성적 일반화를 수행하지 못한다는 것을 시사한다.
• 혼동 요소 샘플링 전략은 작업 난이도를 효과적으로 높이고, 수식어나 관계의 오해와 관련된 실패 유형을 특정하는 데 기여한다.
• 데이터셋 설계는 명령어의 모든 언어적 구성 요소가 참조 대상 식별에 필수적이도록 보장하여 진정한 구성적 추론을 강제한다.
• 결과는 ReaSCAN이 지능형 언어 이해 작업에서 구성적 일반화를 평가하는 데 견고한 벤치마크로 유효함을 입증한다.
• 이 데이터셋은 크리에이티브 커먼즈 저작자표시 4.0 국제 라이선스 하에 공개되어 있으며, 향후 업데이트 및 커뮤니티 기여를 위해 GitHub에서 버전 관리된 릴리스를 제공한다.