[논문 리뷰] Joint Image Captioning and Question Answering

Jialin Wu, Zeyuan Hu외 1명|arXiv (Cornell University)|2018. 05. 22.

Multimodal Machine Learning Applications참고 문헌 30인용 수 13

한 줄 요약

이 논문은 상호 supervision을 활용하여 이미지 캡션 생성과 시각적 질의 응답(VQA)을 동시에 향상시키는 통합 학습 프레임워크를 제안한다: VQA에서 생성된 질문 관련 캡션은 의미적 지식을 제공하여 VQA 성능을 향상시키고, 질문 특징은 캡션 생성기를 더 정보가 풍부하고 다양한 캡션을 생성하도록 이끈다. 앙상블 모델을 통해 VQA v2 테스트-표준 분할에서 69.7%의 정확도를 달성하였으며, 자동 평가 지표와 VQA 성능 모두에서 생성된 캡션을 보조 입력으로 사용함으로써 상당한 향상이 이루어졌다.

ABSTRACT

Answering visual questions need acquire daily common knowledge and model the semantic connection among different parts in images, which is too difficult for VQA systems to learn from images with the only supervision from answers. Meanwhile, image captioning systems with beam search strategy tend to generate similar captions and fail to diversely describe images. To address the aforementioned issues, we present a system to have these two tasks compensate with each other, which is capable of jointly producing image captions and answering visual questions. In particular, we utilize question and image features to generate question-related captions and use the generated captions as additional features to provide new knowledge to the VQA system. For image captioning, our system attains more informative results in term of the relative improvements on VQA tasks as well as competitive results using automated metrics. Applying our system to the VQA tasks, our results on VQA v2 dataset achieve 65.8% using generated captions and 69.1% using annotated captions in validation set and 68.4% in the test-standard set. Further, an ensemble of 10 models results in 69.7% in the test-standard split.

연구 동기 및 목표

• 단독으로 동작하는 VQA 및 이미지 캡션 시스템이 복잡한 시각적 관계와 일반 지식을 포착하지 못하는 데 기인한 한계를 해결하기 위해.
• 이미지 특징에만 의존하는 VQA의 경향을 줄이기 위해 이미지 캡션으로부터 외부 일반 지식을 통합하기 위해.
• 캡션 생성 과정 중에 시각적 질문을 힌트로 사용하여 캡션의 다양성과 정보성 향상을 위해.
• 통합 학습 및 추론을 통해 이미지 캡션과 VQA 간의 상호 보완적 성질을 입증하기 위해.

제안 방법

• 이미지 및 질문 특징의 통합 표현을 사용하여 질문 관련 캡션을 동시에 생성하며, 이를 VQA 모델의 추가 입력으로 활용한다.
• 학습 중에 가장 관련성이 높은 애너테이션된 캡션을 기반으로 한 기울기 기반 온라인 선택 알고리즘을 적용하여 답변 기울기와의 정렬을 극대화한다.
• VQA 모델은 이미지, 질문, 캡션 특징을 요소별 연산(덧셈 및 곱셈)을 통해 통합하여 주의 분포와 예측을 정밀하게 조정한다.
• 캡션 생성 모델은 질문 특징을 조건부 사전 정보로 사용하여 더 다양한, 맥락에 부합하는 캡션을 생성하도록 이끈다.
• 이중 스트림 아키텍처를 통해 공유된 시각적 특징과 질문 및 캡션에 특화된 별도의 처리를 가능하게 하여 엔드 투 엔드 학습을 구현한다.
• 10개 모델의 앙상블을 사용하여 VQA v2 테스트-표준 분할에서 일반화 능력과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합 학습 중에 생성된 질문 관련 캡션은 이미지 및 질문 특징 외에 추가로 VQA 성능 향상에 기여하는가?
• RQ2 질문 인식 캡션은 이미지 기술의 정보성과 다양성에 어느 정도 기여하는가?
• RQ3 생성된 캡션을 보조 특징으로 통합할 경우 VQA 시스템의 강인성과 정확도는 어떻게 영향을 받는가?
• RQ4 캡션 생성과 VQA 간의 상호 supervision은 이미지 특징에 대한 의존도를 줄이고 질문 전용 예측의 편향을 완화하는가?

주요 결과

• 앙성 모델 10개를 사용하여 VQA v2 테스트-표준 분할에서 69.7%의 정확도를 달성하였으며, BUTD 기준선을 뛰어넘었다.
• 생성된 캡션을 입력으로 사용한 VQA 모델은 검증 세트에서 65.8%의 정확도를 기록하여 기준선의 63.2%보다 유의미하게 향상되었다.
• COCO에서 애너테이션된 캡션을 사용할 경우, VQA 모델은 검증 세트에서 69.1%의 정확도를 달성하여 캡션 기반 지식의 가치를 입증하였다.
• 기준선 모델 대비 4.11%의 상대적 VQA 정확도 향상이 있었고, 이는 기준선의 2.22%보다 정보성 측면에서 뚜렷한 우월성을 보였다.
• 자동 캡션 생성 지표에서 경쟁적인 성능을 달성하면서 동시에 하류 VQA 성능까지 향상시켜 이중 작업의 이점을 입증하였다.
• 기울기 기반 캡션 선택 방법은 고품질의 지도 신호를 효과적으로 식별하여 캡션 관련성과 답변 예측 간의 정렬을 향상시켰다.