[논문 리뷰] Learning to Guide Decoding for Image Captioning

Wenhao Jiang, Lin Ma외 3명|arXiv (Cornell University)|2018. 04. 03.

Multimodal Machine Learning Applications인용 수 23

한 줄 요약

이 논문은 각 시간 단계에서 이미지와 언어 정보를 디코더에 주입함으로써 이미지 설명을 향상시키기 위해 적응형이고 종단간(end-to-end)의 문맥 벡터를 학습하는 가이딩 신경망을 제안한다. 이 방법은 MS COCO에서 최고 성능(CIDEr 점수 0.983)을 달성하며, 분류적 감독과 유도 주의 메커니즘을 통해 성능을 향상시킨다.

ABSTRACT

Recently, much advance has been made in image captioning, and an encoder-decoder framework has achieved outstanding performance for this task. In this paper, we propose an extension of the encoder-decoder framework by adding a component called guiding network. The guiding network models the attribute properties of input images, and its output is leveraged to compose the input of the decoder at each time step. The guiding network can be plugged into the current encoder-decoder framework and trained in an end-to-end manner. Hence, the guiding vector can be adaptively learned according to the signal from the decoder, making itself to embed information from both image and language. Additionally, discriminative supervision can be employed to further improve the quality of guidance. The advantages of our proposed approach are verified by experiments carried out on the MS COCO dataset.

연구 동기 및 목표

• 디코더 입력을 동적 가이던스로 강화하여 이미지의 내용 충실도와 문장의 유창성 간 균형을 맞추는 데 도전한다.
• 고정되거나 수작업으로 설계된 주의 메커니즘과 임베딩 주입의 한계를 극복하기 위해 문맥 인식 가이딩 벡터를 학습한다.
• 이미지와 언어 간의 정렬을 향상시키기 위해 생성적 및 분류적 신호를 모두 사용하여 가이딩 네트워크를 종단간으로 훈련시킨다.
• 가이딩 벡터가 시각적 및 언어적 정보를 적응적으로 통합할 수 있도록 하여 설명의 다양성과 정확성을 향상시킨다.

제안 방법

• 각 디코딩 단계에서 이미지 특징과 디코더 은닉 상태를 처리하여 문맥 인식 가이딩 벡터를 생성하는 가이딩 신경망을 도입한다.
• 단어 임베딩과 이전 은닉 상태에 가이딩 벡터를 연결하여 디코더 입력에 통합한다.
• 디코더 손실에서 역전파를 통해 가이딩 네트워크를 종단간으로 훈련시켜 이미지 및 언어 이해의 공동 최적화를 가능하게 한다.
• 예측된 단어에 대한 교차 엔트로피 손실을 통해 분류적 감독을 적용하여 가이딩 벡터의 표현을 정밀하게 조정한다.
• 검토 네트워크를 사용하여 애너테이션 벡터를 개선하고 주의 품질을 향상시켜 디코더가 주목할 만한 이미지 영역에 더 집중하도록 한다.
• 생성적(단어 기반 교차 엔트로피) 및 분류적(단어 수준 감독)을 포함한 다중 감독 소스를 결합하여 강력한 가이딩 학습을 실현한다.

실험 결과

연구 질문

• RQ1 가용한 가이딩 네트워크가 디코더에 동적으로 이미지 및 언어 정보를 주입함으로써 이미지 설명의 품질을 향상시킬 수 있는가?
• RQ2 단어 예측에 대한 분류적 감독이 설명 생성에서 가이딩 네트워크 성능에 어떤 영향을 미치는가?
• RQ3 이미지 수준의 특징(MIL)과 애너테이션 벡터는 가이딩 네트워크의 효과성에 대해 각각 어떤 기여를 하는가?
• RQ4 기본 주의 메커니즘 또는 검토 네트워크와 비교할 때 가이딩 네트워크가 설명의 다양성을 증가시키고 반복을 줄이는가?

주요 결과

• 제안된 LTG-Review-Net은 MS COCO 검증 세트에서 SOTA CIDEr 점수 0.983을 기록하여, MIL-Review-Net(0.975) 및 소프트 주의(0.936)와 같은 베이스라인 모델을 능가했다.
• λ=10의 무게 조정을 통한 분류적 감독이 최고의 성능을 보였으며, λ=0.01일 때의 CIDEr 0.939에서 0.983으로 향상되어 효과적인 최적화가 이루어졌음을 시사한다.
• MIL 및 애너테이션 벡터를 모두 포함한 가이딩 네트워크가 가장 우수한 성능을 보였으며(CIDEr: 0.983), 둘 다 제거된 경우가 가장 열악한 성능(CIDEr: 0.958)을 보여, 상호 보완적 역할을 함을 확인했다.
• 기존 모델들인 MIL-Review-Net(745개) 및 소프트 주의(793개)와 비교해, 모델이 더 많은 고유 단어(840개)를 생성하여 어휘 다양성과 커버리지 향상이 확인되었다.
• 제거 실험 결과, MIL 특징과 애너테이션 벡터 모두 성능 향상에 의미 있는 기여를 하며, 특정 구성 요소가 절대적으로 우세한 것은 아님을 확인했다.
• 가이딩 네트워크가 시각적 및 언어적 정보를 모두 통합할 수 있었기에, 정량적 예시에서 개선된 단어 인식을 보여 주었으며, 더 정확하고 다양한 설명이 생성됨을 입증했다.