[논문 리뷰] A Neural Compositional Paradigm for Image Captioning

Bo Dai, Sanja Fidler외 1명|arXiv (Cornell University)|2018. 10. 23.

Multimodal Machine Learning Applications참고 문헌 32인용 수 24

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 신경망 복합적 패러다임을 제안하며, 의미적 콘텐츠 추출과 문법적 캡션 생성을 분리한다. 순차적 생성 방식이 아닌, 먼저 이미지에서 명사구를 추출한 후, 학습 가능한 모듈을 사용해 이를 재귀적으로 조합함으로써 더 다양한, 의미적으로 정확하고 일반화 능력이 뛰어난 캡션을 생성한다. 이로 인해 하류 메트릭에서 성능 향상을 이룬다.

ABSTRACT

Mainstream captioning models often follow a sequential structure to generate captions, leading to issues such as introduction of irrelevant semantics, lack of diversity in the generated captions, and inadequate generalization performance. In this paper, we present an alternative paradigm for image captioning, which factorizes the captioning procedure into two stages: (1) extracting an explicit semantic representation from the given image; and (2) constructing the caption based on a recursive compositional procedure in a bottom-up manner. Compared to conventional ones, our paradigm better preserves the semantic content through an explicit factorization of semantics and syntax. By using the compositional generation procedure, caption construction follows a recursive structure, which naturally fits the properties of human language. Moreover, the proposed compositional procedure requires less data to train, generalizes better, and yields more diverse captions.

연구 동기 및 목표

• n-그램 통계에 의존하는 순차적 캡션 생성 모델의 한계를 해결하기 위해, 의미적으로 잘못되거나 반복적인 캡션을 생성하는 문제를 해결한다.
• 이미지 캡션 생성에서 의미와 문법을 명시적으로 분리함으로써 캡션의 다양성과 의미 정확성을 향상시킨다.
• 계층적이고 복합적인 생성 과정을 활용해, 훈련 데이터가 적을 경우에도 더 나은 일반화를 가능하게 한다.
• 자연어의 계층적 구조를 반영한 더 해석 가능하고 제어 가능한 캡션 생성 프레임워크를 개발한다.

제안 방법

• 이 방법은 먼저 전용 모듈을 사용해 이미지의 명시적 의미 표현을 명사구의 집합으로 추출한다.
• 그 후, 학습 가능한 연결어구 모듈을 사용해 하위 어구들을 재귀적이고 하향식으로 조합함으로써 캡션을 구성한다.
• 별도의 평가 모듈이 어구가 완료되었는지 판단하여 제어되고 구조화된 조합을 가능하게 한다.
• 연결 모듈과 완료 평가 모듈이라는 두 개의 파rametric 모듈을 사용해 복합 과정을 엔드 투 엔드로 학습할 수 있다.
• 순차적인 단어별 생성을 피하고, 언어의 구조를 반영한 계층적으로 어구를 구성함으로써 생성 과정을 개선한다.
• 추론 과정에서는 점수 기반 선택을 사용한 베이머 스카우팅을 통해 각 이미지당 다수의 다양한 캡션을 생성한다.

실험 결과

연구 질문

• RQ1 의미와 문법을 분리함으로써 복합적 캡션 생성 프레임워크가 의미 정확성을 향상시킬 수 있는가?
• RQ2 순차적 모델과 비교해 복합적 재귀적 생성 방식은 캡션의 다양성과 일반화 능력 측면에서 어떻게 다른가?
• RQ3 제안된 방법은 훈련 데이터에서 빈도 높은 n-그램에 의존하는 정도를 어느 정도 줄일 수 있으며, 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 명시적인 명사구 분리가 더 해석 가능하고 제어 가능한 캡션 생성을 이끌 수 있는가?
• RQ5 기본 순차적 모델과 비교해 낮은 데이터 환경에서 모델의 성능은 어떻게 되는가?

주요 결과

• CompCap는 83.86%의 고유 캡션 비율을 기록하여 기준 모델을 크게 앞서며, 생성된 캡션의 높은 독창성을 보여준다.
• 모든 방법 중에서 데이터셋 수준에서 9.85의 다양성 점수를 기록하여 강력한 캡션 다양성을 입증했다.
• 훈련 데이터의 10%만으로도 강력한 성능 유지를 보이며, 순차적 모델에 비해 뛰어난 일반화 능력을 보였다.
• 기준 모델 대비 SPICE 점수를 0.058 향상시키고 CIDEr 점수를 0.043 향상시켜 의미 정확성과 어법 일치도 향상을 입증했다.
• 제거 실험을 통해 복합적 구조가 의미 정확성을 희생시키지 않고 다양성을 향상시킨다는 점을 확인했다.
• 실패 사례는 주로 명사구 추출 또는 조합 단계에서 발생했으며, 복합 메커니즘 자체의 본질적 결함 때문이 아니었다.