[논문 리뷰] Think before you act: A simple baseline for compositional generalization

Christina Heinze‐Deml, Diane Bouchacourt|arXiv (Cornell University)|2020. 09. 29.

Rough Sets and Fuzzy Logic참고 문헌 18인용 수 9

한 줄 요약

이 논문은 시각-언어 탐색에서 조합적 일반화를 향상시키기 위해 목표 물체 식별을 행동 실행에서 분리하는 간단한 '행동하기 전에 생각하기' 접근법을 제안한다. 행동을 생성하기 전에 목표 물체를 예측하기 위한 보조 손실을 도입함으로써, 모델은 두 가지 gSCAN 분할(노란 사각형 및 빨간 사각형)에서 최신 기술 성능을 달성한다. 이는 명시적인 목표에 대한 사고가 일반화를 향상시킨다는 것을 보여주지만, 상대성 기반 작업에서는 여전히 과제가 남아 있다.

ABSTRACT

Contrarily to humans who have the ability to recombine familiar expressions to create novel ones, modern neural networks struggle to do so. This has been emphasized recently with the introduction of the benchmark dataset "gSCAN" (Ruis et al. 2020), aiming to evaluate models' performance at compositional generalization in grounded language understanding. In this work, we challenge the gSCAN benchmark by proposing a simple model that achieves surprisingly good performance on two of the gSCAN test splits. Our model is based on the observation that, to succeed on gSCAN tasks, the agent must (i) identify the target object (think) before (ii) navigating to it successfully (act). Concretely, we propose an attention-inspired modification of the baseline model from (Ruis et al. 2020), together with an auxiliary loss, that takes into account the sequential nature of steps (i) and (ii). While two compositional tasks are trivially solved with our approach, we also find that the other tasks remain unsolved, validating the relevance of gSCAN as a benchmark for evaluating models' compositional abilities.

연구 동기 및 목표

• 모델이 새로운 방식으로 알려진 언어적 및 시각적 구성 요소를 재결합하지 못하는 시각-언어 모델에서의 조합적 일반화 과제를 해결한다.
• 행동하기 전에 목표 물체를 식별하는 '생각하는 단계'를 명시적으로 모델링할 경우, 기반 언어 이해 벤치마크에서 일반화가 향상되는지 조사한다.
• 순서 기반 모델에 대한 단순하고 모듈화된 수정 방법—보조 목표 예측 헤드를 통한 순차적 추론 도입—의 효과성을 평가한다.
• 이 방법이 간단한 속성 조합을 넘어서 더 복잡한 관계 추론, 예를 들어 상대적 크기 인식과 같은 작업으로 일반화되는지 판단한다.

제안 방법

• Ruis 등(2020)의 기준 순서 기반 모델을 수정하여, 먼저 목표 물체의 위치를 예측하고, 그 다음에 탐색 행동을 생성하는 이단계 과정을 도입한다.
• 동일한 시각적 및 언어적 입력을 사용하여 그리드 월드에서 목표 물체의 위치를 예측하도록 모델을 훈련시키는 보조 손실을 도입한다.
• 주목력 메커니즘을 사용하여 목표 예측 헤드가 관련 시각적 특징과 언어 토큰에 주목할 수 있도록 하여, 행동 생성 이전에 구조화된 추론을 가능하게 한다.
• 표준 순서 기반 손실(행동 생성을 위한)과 보조 손실(목표 위치 지정을 위한)을 조합하여 모델을 엔드 투 엔드로 훈련시킨다.
• 목표 예측 헤드의 로그-소프트맥스 점수를 사용하여 시각적 특징 표현(H_s)을 가중치를 적용함으로써, 행동 복호화 중에 관련된 세계 상태에 대한 주목력을 향상시킨다.
• 가중치 적용 여부를 제거한 아블레이션 변형을 평가하여, '행동하기 전에 생각하기' 메커니즘이 기여하는 바를 분리한다.

실험 결과

연구 질문

• RQ1 간단하고 모듈화된 수정으로 '행동하기 전에 생각하기' 순서를 강제하면 조합적 일반화가 기반 언어 이해에서 향상되는가?
• RQ2 목표 물체 예측에 대한 보조 훈련이 gSCAN 테스트 분할에서의 제로샷 일반화 성능 향상에 측정 가능한 기여를 하는가?
• RQ3 제안된 방법이 알려진 속성의 새로운 조합(예: 새로운 색상 또는 크기 참조)이 필요한 작업에서 기준 모델에 비해 성능 향상을 얼마나 달성하는가?
• RQ4 '행동하기 전에 생각하기' 접근법이 상대적 크기 인식(예: 더 큰 원 안의 작은 원)과 같은 관계 추론 작업으로 일반화되는가?
• RQ5 보조 목표 예측 헤드는 디코딩 문제에서 발생하는 오류 전파를 줄이는가, 아니면 성능 격차는 근본적인 추론 실패 때문인가?

주요 결과

• 보조 손실을 적용한 제안된 모델('기준 모델 + 보조')은 기준 모델보다 노란 사각형(B) 및 빨간 사각형(C) 분할에서 유의미하게 높은 평균 성능과 낮은 분산을 기록한다.
• 노란 사각형 분할에서 모델은 거의 완벽한 목표 예측 정확도와 정확한 매칭 성능를 달성하며, 기준 모델과 GECA 모델을 모두 앞선다.
• 빨간 사각형 분할에서 '월드' 및 '둘 다' 변형은 기준 모델을 초월하고, GECA 성능과 동일하게 유지한다. 이는 GECA가 세계 재구성에 더 많은 감독을 사용하지만도 여전히 동등한 성능를 기록한다는 것을 시사한다.
• 상대성(E) 분할의 성능은 여전히 낮으며, 정확한 매칭 정확도는 최대 50%에 그쳐, 상대적 속성에 대한 관계 추론이 여전히 큰 과제임을 나타낸다.
• 오류 분석 결과, 목표 예측 정확도와 정확한 매칭 성능 사이에 강한 상관관계가 있음을 확인하여, 성능 격차의 주요 원인이 디코딩 오류가 아니라는 것을 시사한다.
• 아블레이션 연구는 목표 예측 점수로 시각적 특징을 가중치를 적용하는 것이 핵심임을 확인한다. 이 메커니즘을 제거하면, 목표 예측 정확도가 높더라도 정확한 매칭 정확도가 크게 떨어진다.