[논문 리뷰] Learning to Collocate Neural Modules for Image Captioning

Xu Yang, Hanwang Zhang외 1명|arXiv (Cornell University)|2019. 04. 18.

Multimodal Machine Learning Applications참고 문헌 48인용 수 18

한 줄 요약

이 논문은 기능어 및 내용어 특화 신경 모듈(명사, 형용사, 동사 등)을 동적으로 조합함으로써 인간과 유사한 문장 패턴 생성을 모방하는 새로운 이미지 캡셔닝 프레임워크인 학습을 통한 신경 모듈의 공존(Learning to Collocate Neural Modules, CNM)을 제안한다. 소프트 모듈 융합, 다단계 추론, 그리고 어근형(collocation)을 강제하는 언어학적 손실을 통해 CNM는 최신 기준 성능을 달성하며, 카프라티 분할 기준으로 127.9의 CIDEr-D를 기록하고 공식 MS-COCO 테스트 서버에서 126.0의 c40 점수를 확보하였다. 이는 저자료 설정에서도 뛰어난 강건성을 유지한다.

ABSTRACT

We do not speak word by word from scratch; our brain quickly structures a pattern like extsc{sth do sth at someplace} and then fill in the detailed descriptions. To render existing encoder-decoder image captioners such human-like reasoning, we propose a novel framework: learning to Collocate Neural Modules (CNM), to generate the `inner pattern' connecting visual encoder and language decoder. Unlike the widely-used neural module networks in visual Q\&A, where the language (ie, question) is fully observable, CNM for captioning is more challenging as the language is being generated and thus is partially observable. To this end, we make the following technical contributions for CNM training: 1) compact module design --- one for function words and three for visual content words (eg, noun, adjective, and verb), 2) soft module fusion and multi-step module execution, robustifying the visual reasoning in partial observation, 3) a linguistic loss for module controller being faithful to part-of-speech collocations (eg, adjective is before noun). Extensive experiments on the challenging MS-COCO image captioning benchmark validate the effectiveness of our CNM image captioner. In particular, CNM achieves a new state-of-the-art 127.9 CIDEr-D on Karpathy split and a single-model 126.0 c40 on the official server. CNM is also robust to few training samples, eg, by training only one sentence per image, CNM can halve the performance loss compared to a strong baseline.

연구 동기 및 목표

• 기존의 이미지 캡처 모델들이 유도적 편향(Inductive bias)이 부족하여 데이터셋 편향과 일반화 능력 저하를 겪는 문제를 해결하기 위해.
• 사람과 유사한 문장 패턴 형성 방식—즉, 시각적 개념을 채우기 전에 템플릿을 구성하는 방식—을 모방함으로써, 캡처 과정을 비합리적인 동시출현 패턴에서 분리시키기 위해.
• 부분관측 상태에서도 시각적 요소와 언어적 요소를 체계적이고 단계적으로 추론할 수 있는 모듈형, 미분 가능한 프레임워크를 개발하기 위해.
• 예를 들어, 한 장의 이미지당 한 개의 캡처만 있는 저자료 설정에서도 성능 저하를 줄이기 위해, 모듈 기반의 체계적 추론을 활용함으로써 강건성을 향상시키기 위해.

제안 방법

• CNM는 기능어(예: 'a')를 위한 하나의 신경 모듈과, 시각적 내용어—명사, 형용사, 동사—를 위한 세 개의 모듈을 포함하며, 각각 특정 어근형 유형을 생성하는 데 전담된다.
• 각 디코딩 단계에서, 현재의 은닉 상태를 기반으로 소프트 어텐션을 사용해 모든 네 개의 모듈 출력을 융합함으로써, 부분관측 상태에서도 동적으로 강건한 모듈 선택이 가능해진다.
• 다단계 추론은 모듈을 순차적으로 스택함으로써 구현되며, 이는 문장 구조를 반복적으로 개선함으로써 복잡한 어구를 생성할 수 있도록 한다.
• 어순(collocation)을 강제하기 위해 언어학적 손실이 도입되었으며, 예를 들어 형용사는 명사 앞에 와야 하므로, 문법적 정확성이 향상된다.
• 모델은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 각 구성 요소의 기여도를 검증하기 위한 추가적인 아블레이션 연구가 수행된다.
• CNM는 문장 그래프 어텐션 인코더(SGAE)와 결합되어 성능을 향상시키며, 언어 편향을 유지하고 의미 표현을 강화함으로써 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 모듈형, 패턴 기반 접근 방식이 고빈도 동시출현 어구와 같은 데이터셋 특화 편향에 대한 의존도를 줄일 수 있는가?
• RQ2 언어 출력이 생성 과정 중에 부분적으로만 관측될 때, 소프트 모듈 융합과 다단계 추론이 어떻게 강건성을 향상시키는가?
• RQ3 어근형 순서와 같은 언어학적 제약 조건을 강제하면, 생성된 캡처의 문법 정확성과 유창성에 어느 정도 기여하는가?
• RQ4 제안된 모듈 공존 프레임워크는 한 장의 이미지당 한 개의 캡처만 있는 저자료 훈련 환경에서도 효과적으로 일반화되는가?
• RQ5 공공의 지식 추론 모듈을 통합하면 성능에 어떤 영향을 미치며, 맥락적으로 적절한 형용사를 생성하는 데에 한계를 해결할 수 있는가?

주요 결과

• CNM는 MS-COCO 카프라티 분할에서 기존의 강력한 기준 모델들과 더 큰 아키텍처를 가진 모델들보다 뛰어난 성능을 보이며, 새로운 최고 기록인 CIDEr-D 127.9 점을 기록하였다.
• 공식 MS-COCO 테스트 서버에서 CNM는 단일 모델 기준 CIDEr-D 점수 126.0을 확보하였으며, 앙상블 기법 없이도 강력한 일반화 능력과 경쟁력 있는 성능을 입증하였다.
• 한 장의 이미지당 한 캡처만으로 미세조정한 경우, CNM는 강력한 기준 모델 대비 성능 저하를 절반으로 줄였으며, 뛀난 데이터 효율성을 보였다.
• 언어학적 손실은 고빈도 동시출현 쌍(예: 'man standing')에 대한 과적합을 줄이고 더 정확한 묘사로의 전환을 가능하게 하여 문법 정확도를 크게 향상시켰다.
• CNM+SGAE는 공식 서버에서 CIDEr-D 126.0, c40 분할에서 123.8 점을 기록하여 언어 편향 모델링을 통합함으로써 성능 향상이 추가로 이루어졌음을 보여주었다.
• 아블레이션 연구 결과, 소프트 모듈 융합과 다단계 추론이 부분관측 상태에서도 강건성을 확보하는 데 핵심 요소임을 확인하였다.