[논문 리뷰] CLOSURE: Assessing Systematic Generalization of CLEVR Models

Dzmitry Bahdanau, Harm de Vries외 5명|arXiv (Cornell University)|2019. 12. 12.

Multimodal Machine Learning Applications참고 문헌 30인용 수 36

한 줄 요약

이 논문은 CLEVR-학습 모델이 새로운 참조 표현에 대해 체계적으로 일반화하는지 테스트하기 위해 CLOSURE 벤치마크를 도입한다. 엔드-투-엔드 및 신경-심볼릭 모델 간의 상당한 일반화 격차를 보여주고, 구성을 개선하는 Vector-NMN를 도입하며, few-shot 전이 효과를 탐구한다.

ABSTRACT

The CLEVR dataset of natural-looking questions about 3D-rendered scenes has recently received much attention from the research community. A number of models have been proposed for this task, many of which achieved very high accuracies of around 97-99%. In this work, we study how systematic the generalization of such models is, that is to which extent they are capable of handling novel combinations of known linguistic constructs. To this end, we test models' understanding of referring expressions based on matching object properties (such as e.g. "another cube that is the same size as the brown cube") in novel contexts. Our experiments on the thereby constructed CLOSURE benchmark show that state-of-the-art models often do not exhibit systematicity after being trained on CLEVR. Surprisingly, we find that an explicitly compositional Neural Module Network model also generalizes badly on CLOSURE, even when it has access to the ground-truth programs at test time. We improve the NMN's systematic generalization by developing a novel Vector-NMN module architecture with vector-valued inputs and outputs. Lastly, we investigate how much few-shot transfer learning can help models that are pretrained on CLEVR to adapt to CLOSURE. Our few-shot learning experiments contrast the adaptation behavior of the models with intermediate discrete programs with that of the end-to-end continuous models.

연구 동기 및 목표

• CLEVR-훈련 모델이 CLOSURE에서 새로운 참조 표현에 대해 체계적으로 일반화하는지 평가.
• 새로운 CLEVR 유사 작업에서 엔드-투-엔드 및 기호-프로그램 기반 VQA 모델의 일반화 격차를 정량화.
• 체계적 일반화를 향상시키는 Vector-NMN를 포함한 모델 변형을 조사.

제안 방법

• CLEVR와 유사한 질문에 일치하는 참조 표현을 대입하여 out-of-distribution이면서도 의미적으로 구성적인 쿼리를 생성하는 일곱 가지 CLOSURE 테스트 구성.
• 제로샷 일반화에 대해 FiLM, MAC, NS-VQA, NMN 변형, 그리고 제안된 Vector-NMN 등 다양한 모델 평가.
• 실제 프로그램과 학습된 프로그램 생성기를 비교하고, 테스트 시점에 GT- 프로그램을 제공하는 영향(GT-*) 평가.
• FiLM 스타일 컨디셔닝과 공유 CNN/U 필터를 기반으로 모듈식 일반화를 개선하기 위해 벡터 값 입력/출력을 갖는 Vector-NMN 제안.
• 각 CLOSURE 패밀리당 36개의 예제로 few-shot 전을 탐색; 명시적 프로그램 감독 여부 포함 여부를 고려.

실험 결과

연구 질문

• RQ1 CLEVR 학습에서 보지 못한 참조 표현의 결합(CLOSURE)에 대해 최첨단 CLEVR 모델은 어떻게 일반화하는가?
• RQ2 기호적 프로그램 기반 NS-VQA, NMN 접근법은 CLOSURE에서 엔드-투-엔드 모델에 비해 더 나은 또는 더 나쁘게 체계적 일반화를 보이는가?
• RQ3 벡터 기반 NMN 모듈이 교차 구성 일반화를 개선할 수 있는가? 어떤 조건에서?
• RQ4 few-shot 전이가 프로그램 기반 및 엔드-투-엔드 모델의 체계적 일반화에 미치는 영향은 무엇인가?

주요 결과

• 대부분의 CLEVR-학습 모델은 CLOSURE 테스트에서 기저 CLEVR 유사 질문에 비해 상당한 악화를 보이며 체계적 일반화가 약함.
• MAC은 FiLM보다 잘 작동하지만 여전히 여러 CLOSURE 테스트에서 기저 정확도의 15–35%를 잃어 일반화 간격을 드러냄.
• NS-VQA 및 NMN 변형은 특히 논리적 참조 표현에서 기저 프로그램이 있을 때도 주목할 만한 일반화 격차를 보임.
• Vector-NMN은 Tensor-NMN보다 일반화가 훨씬 잘 되며, 일반적으로 테스트 전반에서 기저 성능에 일치하거나 차이가 적지만 and_mat_spa 예외.
• CLOSURE 패밀리당 36개의 예제를 제공하는 few-shot 예시는 대부분의 모델의 CLOSURE 성능을 크게 향상시키며, 프로그램 기반 모델은 감독이 있으면 목표 정확도에 도달하는 경향이 있고, 엔드-투-엔드 모델은 지속적인 학습의 이점을 얻음.
• 테스트 시점의 GT 프로그램은 프로그램 기반 모델에 대해 극적으로 도움이 되며 구성 작업에 대해 정확한 프로그램 접지를 중요시함.