[논문 리뷰] Neural Baby Talk

Jiasen Lu, Jianwei Yang외 2명|arXiv (Cornell University)|2018. 03. 27.

Multimodal Machine Learning Applications참고 문헌 44인용 수 27

한 줄 요약

이 논문은 객체 검출기의 출력과 미분 가능한 문장 템플릿을 결합하여 기반을 잘 한, 자연스러운 어조의 캡션을 생성하는 신경망 이미지 캡션 프레임워크를 제안한다. 언어적 슬롯을 검출된 시각적 엔티티에 연결하는 엔드 투 엔드 학습 모델을 통해 COCO와 Flickr30k에서 표준 및 새로운 객체 캡션 모두에서 최신 기술 수준의 성능을 달성하며, 특히 훈련 및 테스트 시나리오 간의 분포 차이가 발생할 경우에도 뛰어난 성능을 보인다.

ABSTRACT

We introduce a novel framework for image captioning that can produce natural language explicitly grounded in entities that object detectors find in the image. Our approach reconciles classical slot filling approaches (that are generally better grounded in images) with modern neural captioning approaches (that are generally more natural sounding and accurate). Our approach first generates a sentence `template' with slot locations explicitly tied to specific image regions. These slots are then filled in by visual concepts identified in the regions by object detectors. The entire architecture (sentence template generation and slot filling with object detectors) is end-to-end differentiable. We verify the effectiveness of our proposed model on different image captioning tasks. On standard image captioning and novel object captioning, our model reaches state-of-the-art on both COCO and Flickr30k datasets. We also demonstrate that our model has unique advantages when the train and test distributions of scene compositions -- and hence language priors of associated captions -- are different. Code has been made available at: this https URL

연구 동기 및 목표

• 기반된 템플릿 기반 캡션과 유창한 신경망 기반 캡션 간 격차를 메우기 위해 객체 검출기를 미분 가능한 프레임워크에 통합한다.
• 언어적 슬롯을 검출된 이미지 영역에 명시적으로 연결하여 캡션 품질과 기반 정도를 향상시킨다.
• 훈련 및 테스트 시나리오의 구성이 크게 다를 경우 캡션 일반화의 과제를 해결한다.
• 구조적 문장 템플릿과 시각적 개념 채우기를 결합한 통합된 엔드 투 엔드 학습 가능한 아키텍처를 개발한다.

제안 방법

• 모델은 먼저 객체 검출기가 검출한 특정 이미지 영역에 대응하는 학습 가능한 슬롯을 가진 문장 템플릿을 생성한다.
• 각 슬롯은 시각적 영역에 미분 가능하게 연결되어 언어적 구조가 시각적 증거에 기반하도록 보장한다.
• 검출된 영역에서 시각적 개념(객체, 속성 등)을 추출하여 이를 미분 가능한 방식으로 슬롯에 채운다.
• 템플릿 생성과 슬롯 채우기 전 과정이 모두 미분 가능한 손실 함수를 사용해 엔드 투 엔드로 학습된다.
• 학습 및 추론 중에 주어진 슬롯이 관련된 이미지 영역과 정렬되도록 어텐션 메커니즘을 활용한다.
• 표준 이미지 캡션 데이터셋인 COCO와 Flickr30k에서 학습되며, 새로운 객체 캡션을 위한 미세조정도 수행된다.

실험 결과

연구 질문

• RQ1 언어적 슬롯을 검출된 이미지 영역에 명시적으로 연결함으로써 신경망 캡션 모델이 더 나은 기반 정도를 달성할 수 있는가?
• RQ2 객체 검출기를 통합함으로써 순수 신경망 또는 템플릿 기반 방법에 비해 캡션의 유창성과 정확도가 어떻게 향상되는가?
• RQ3 테스트 시나리오가 훈련 데이터의 분포와 다를 경우 제안된 프레임워크가 기존 모델보다 더 잘 일반화되는가?
• RQ4 엔드 투 엔드의 미분 가능성은 기반 캡션에서 학습 안정성과 성능 향상에 얼마나 기여하는가?
• RQ5 재학습 없이도 모델이 새로운 객체 캡션에서 높은 성능을 유지할 수 있는가?

주요 결과

• 모델은 COCO와 Flickr30k 데이터셋에서 표준 이미지 캡션 및 새로운 객체 캡션 작업 모두에서 최신 기술 수준의 성능을 달성한다.
• 테스트 데이터의 시나리오 구성 분포가 훈련 데이터와 다를 경우에도 뛰어난 강건성을 보이며, 기반되지 않은 베이스라인을 능가한다.
• 객체 검출기와 학습 가능한 템플릿의 통합은 더 정확하고 맥락에 적절한 캡션을 생성한다.
• 엔드 투 엔드의 미분 가능한 설계 덕분에 템플릿 생성 및 슬롯 채우기 구성 요소의 안정적 학습과 효과적 최적화가 가능해진다.
• 모델은 새로운 객체 캡션에서 강력한 성능을 유지하며, 본 적 없는 객체 카테고리로의 일반화 능력이 뛰어나다는 것을 보여준다.