[논문 리뷰] Image Captioning with Object Detection and Localization

Zhongliang Yang, Yu‐Jin Zhang외 2명|arXiv (Cornell University)|2017. 06. 08.

Multimodal Machine Learning Applications참고 문헌 6인용 수 5

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 다중 모델 신경망을 제안하며, 객체 검출 및 국소화를 주의 메커니즘을 갖춘 LSTM와 통합하여 기술적인 설명을 포함한 캡션을 생성한다. 생성된 단어를 검출된 객체와 그들의 공간적 관계에 대응시킴으로써 모델은 캡션 정확도를 향상시키고 COCO 데이터셋에서 이전 벤치마크를 능가한다.

ABSTRACT

Automatically generating a natural language description of an image is a task close to the heart of image understanding. In this paper, we present a multi-model neural network method closely related to the human visual system that automatically learns to describe the content of images. Our model consists of two sub-models: an object detection and localization model, which extract the information of objects and their spatial relationship in images respectively; Besides, a deep recurrent neural network (RNN) based on long short-term memory (LSTM) units with attention mechanism for sentences generation. Each word of the description will be automatically aligned to different objects of the input image when it is generated. This is similar to the attention mechanism of the human visual system. Experimental results on the COCO dataset showcase the merit of the proposed method, which outperforms previous benchmark models.

연구 동기 및 목표

• 더 풍부한 시각적 맥락을 제공하기 위해 객체 검출 및 공간 국소화를 통합하여 이미지 캡션 생성을 향상시키기.
• 캡션 생성 중 특정 객체에 대한 생성된 단어를 대응시킴으로써 인간과 유사한 주의를 모델링하기.
• 검출 및 캡션 생성을 하나의 엔드 투 엔드 학습 가능한 통합 딥 러닝 프레임워크로 개발하기.
• COCO 이미지 캡션 벤치마크에서 최신 기술 수준의 성능 달성하기.

제안 방법

• 모델는 이중 스트림 아키텍처를 사용한다: 하나의 스트림은 영역 제안 네트워크(RPN)와 패스트 R-CNN를 사용한 객체 검출 및 국소화를 위한 것이다.
• 검출된 객체와 그들의 공간적 관계(예: '위에', '뒤에')는 공간 좌표와 함께 시각적 특징으로 인코딩된다.
• 깊이 있는 LSTM에 주의 메커니즘이 통합되어 단어별로 캡션을 생성하며, 관련된 검출된 객체에 동적으로 주의를 기울인다.
• 주의 가중치는 LSTM의 은닉 상태와 객체 특징 간의 호환성에 기반하여 계산되며, 단어-객체 대응을 가능하게 한다.
• 캡션 생성을 위한 교차 엔트로피 손실과 검출을 위한 영역 제안 손실을 함께 사용하여 전체 시스템을 공동으로 훈련시킨다.
• 객체의 공간 좌표는 시각적 특징 표현에 통합되어 공간적 추론 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 객체 검출 및 국소화 통합이 캡션의 품질과 정확도를 향상시킬 수 있는가?
• RQ2 객체 간 명시적인 공간적 관계 모델링이 캡션 생성에 어떤 영향을 미치는가?
• RQ3 검출된 객체에 대응하는 주의 메커니즘이 캡션의 관련성과 다양성에 얼마나 기여하는가?
• RQ4 통합된 다중 모델 아키텍처가 별도의 검출 및 캡션 파이프라인을 능가할 수 있는가?
• RQ5 검출 및 캡션 구성 요소를 엔드 투 엔드로 훈련시키면 벤치마크 데이터셋에서 성능이 향상되는가?

주요 결과

• 제안된 방법은 COCO 이미지 캡션 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 모델을 능가한다.
• 객체 검출 및 공간 국소화 통합은 특히 객체 간 관계를 기술하는 데 있어 캡션 품질을 크게 향상시킨다.
• 주의 메커니즘이 효과적으로 생성된 단어를 해당 검출된 객체에 대응시켜 인간의 시각적 주의를 모방한다.
• 공간적으로 인지된 시각적 특징을 활용함으로써 모델은 더 정확하고 맥락적으로 관련성이 높은 캡션을 생성한다.
• 정량적 결과는 COCO 테스트-2015 스플릿에서 이전 방법 대비 BLEU, ROUGE, CIDEr 점수 향상을 보여준다.
• 제거 실험 결과는 객체 검출 및 공간 정보가 성능 향상에 의미 있게 기여한다는 것을 확인한다.