[논문 리뷰] Image Captioning with Context-Aware Auxiliary Guidance

Zeliang Song, Xiaofei Zhou외 2명|arXiv (Cornell University)|2020. 12. 10.

Multimodal Machine Learning Applications참고 문헌 42인용 수 5

한 줄 요약

이 논문은 이미지 캡션 생성 성능을 햖थ기 위해 향후 예측 단어를 활용할 수 있도록 하는 새로운 메커니즘인 Context-Aware Auxiliary Guidance (CAAG)를 제안한다. CAAG는 전역 예측에 대한 소프트 어텐션을 사용하여 주 캡션 생성 네트워크가 더 정확하고 기술적인 캡션을 생성하도록 이끌며, COCO Karpathy 분할에서 132.2 CIDEr-D 점수를 기록하여 최신 기술 수준(SOTA) 성능을 달성한다. 이는 세 가지 강력한 베이스라인에서 일관된 성능 향상을 보였다.

ABSTRACT

Image captioning is a challenging computer vision task, which aims to generate a natural language description of an image. Most recent researches follow the encoder-decoder framework which depends heavily on the previous generated words for the current prediction. Such methods can not effectively take advantage of the future predicted information to learn complete semantics. In this paper, we propose Context-Aware Auxiliary Guidance (CAAG) mechanism that can guide the captioning model to perceive global contexts. Upon the captioning model, CAAG performs semantic attention that selectively concentrates on useful information of the global predictions to reproduce the current generation. To validate the adaptability of the method, we apply CAAG to three popular captioners and our proposal achieves competitive performance on the challenging Microsoft COCO image captioning benchmark, e.g. 132.2 CIDEr-D score on Karpathy split and 130.7 CIDEr-D (c40) score on official online evaluation server.

연구 동기 및 목표

• 자기회귀적 캡션 생성 모델이 과거 예측에만 의존하여 의미 학습이 불완전한 점을 해결하기 위해.
• 학습 중 향후 예측 단어에서 온 전역 맥락을 인식하고 활용할 수 있도록 해, 장면 이해를 향상시키기 위해.
• 기존 강화 학습 기반 캡셔너를 아키텍처의 전반적 개선 없이도 향상시킬 수 있는 일반적이고 즉시 사용 가능한 모듈을 개발하기 위해.
• 어려운 COCO 벤치마크에서 여러 최신 기술 수준의 캡션 생성 아키텍처에 대해 제안 방법의 효과성과 적응 가능성 검증하기 위해.

제안 방법

• CAAG는 추론 중에 탐욕적 디코딩을 통해 주 캡션 생성 네트워크가 전체 문장을 먼저 생성한다(전역 맥락).
• 각 디코딩 단계에서 CAAG는 전역 예측에 대한 의미 어텐션을 수행하여 현재 단어 생성을 안내하는 데 유용한 향후 토큰에 집중한다.
• 기계는 현재 은닉 상태와 모든 향후 예측 토큰 간의 어텐션 가중치를 계산하기 위해 소프트 어텐션을 사용하여 유의미한 맥락에 동적으로 초점을 맞춘다.
• CAAG는 CIDEr-D와 같은 문장 수준 지표를 최적화하기 위해 정책 기반 강화 학습(예: REINFORCE) 목적함수를 사용하여 훈련된다.
• 추론 시, 비트 서치는 주 네트워크와 CAAG를 함께 사용하여 최종 캡션을 생성하며, 국소적 및 전역 맥락을 모두 활용한다.
• 이 방법은 기존의 세 캡셔너인 Att2all, Up-Down, AoANet에 보조 가이던스 모듈로 적용되어 뛰어난 일반화 성능을 입증했다.

실험 결과

연구 질문

• RQ1 향후 예측된 단어들이 이미지 캡션 생성에서 현재 단어 예측을 향상시키는 데 의미 있는 맥락을 제공할 수 있는가?
• RQ2 향후 예측에서 온 전역 의미 맥락을 통합할 경우 생성된 캡션의 품질과 정확도에 어떤 영향을 미치는가?
• RQ3 CAAG처럼 아키텍처 변경 없이도 다양한 주의 기반 LSTM 캡셔너를 일관되게 향상시킬 수 있는 일반적인 수정 방법인가?
• RQ4 CAAG가 더 완전한 의미 학습을 가능하게 함으로써 노출 편향을 줄이고 모델 일반화 능력을 향상시키는가?
• RQ5 CAAG가 하드 어텐션 및 기타 어텐션 변종과 비교해 전역 예측에서 유용한 맥락을 어떻게 더 효과적으로 포착하는가?

주요 결과

• CAAG는 COCO Karpathy 테스트 분할에서 132.2 CIDEr-D 점수를 기록하여 표준 벤치마크에서 뛰어난 성능을 입증했다.
• 공식 COCO 온라인 평가 서버에서 CAAG는 130.7 CIDEr-D (c40) 점수를 기록하여 실제 환경에서의 강건성도 확인했다.
• CAAG는 Karpathy 분할에서 상향 주의 기반 LSTM 디코더의 CIDEr-D 점수를 123.4에서 128.8로 향상시켜 뚜렷한 성능 향상을 보였다.
• 인간 평가 결과, 세 베이스라인에서 비교한 60-70%의 경우에서 CAAG로 생성된 캡션은 더 기술적으로 평가되었다.
• 시각화 결과는 CAAG가 의미적으로 관련된 향후 토큰(예: 'riding'을 생성할 때 'bike')에 주목하고 있음을 확인했으며, 효과적인 맥락 활용을 입증했다.
• 소프트 어텐션을 사용한 CAAG는 하드 어텐션 및 무가이던스 변종보다 성능이 뛰어나 전역 예측에 대한 연속적이고 선택적인 어텐션의 중요성을 입증했다.