[논문 리뷰] DenseCap: Fully Convolutional Localization Networks for Dense Captioning

Justin Johnson, Andrej Karpathy외 1명|arXiv (Cornell University)|2015. 11. 24.

Multimodal Machine Learning Applications참고 문헌 48인용 수 83

한 줄 요약

이 논문은 Visual Genome 데이터셋에서 생성 및 검색 작업 모두에서 최신 기술 수준의 성능을 달성하면서 영역 제안망이 필요 없이 이미지 내 여러 영역을 동시에 국소화하고 기술하는 데에 효과적인 전연결 지역화 네트워크(Fully Convolutional Localization Network, FCLN)인 DenseCap을 소개한다. 이는 새로운 미분 가능한 밀도 국소화 레이어를 사용하여 종합적으로 국소화 및 기술을 수행한다.

ABSTRACT

We introduce the dense captioning task, which requires a computer vision system to both localize and describe salient regions in images in natural language. The dense captioning task generalizes object detection when the descriptions consist of a single word, and Image Captioning when one predicted region covers the full image. To address the localization and description task jointly we propose a Fully Convolutional Localization Network (FCLN) architecture that processes an image with a single, efficient forward pass, requires no external regions proposals, and can be trained end-to-end with a single round of optimization. The architecture is composed of a Convolutional Network, a novel dense localization layer, and Recurrent Neural Network language model that generates the label sequences. We evaluate our network on the Visual Genome dataset, which comprises 94,000 images and 4,100,000 region-grounded captions. We observe both speed and accuracy improvements over baselines based on current state of the art approaches in both generation and retrieval settings.

연구 동기 및 목표

• 이미지 내 여러 영역에 대한 국소화와 자연어 기술을 동시에 수행하는 통합된 작업으로서의 밀도 기반 캡션 생성을 통합하는 것: 이는 다수의 이미지 영역에 대한 국소화와 자연어 기술이 모두 필요하다.
• 단일 순방향 전파로 이미지를 처리할 수 있는 완전히 컨volutional 아키텍처를 개발하여 외부 영역 제안 기반 기반의 필요성을 제거하는 것.
• 새로운 미분 가능한 국소화 레이어를 사용하여 국소화 및 캡션 생성 시스템을 엔드 투 엔드로 훈련시킬 수 있도록 하는 것.
• 대규모 벤치마크에서 생성 및 검색 설정 모두에서 기존 방법보다 성능과 효율성을 향상시키는 것.
• 테스트 시 자연어 질의를 사용해 임의의 시각적 개념을 국소화할 수 있도록 개방형 객체 탐지 기능을 제공하는 것.

제안 방법

• 모델은 이미지 특징을 추출하기 위해 컨volutional 신경망(CNN)을 사용하며, 이후 이중선형 보간을 사용해 활성화를 추출함으로써 영역 제안을 예측하는 새로운 완전히 미분 가능한 밀도 국소화 레이어를 도입한다.
• 이 국소화 레이어는 네트워크 내부에 삽입되어 영역 제안을 통해 역전파가 가능하게 하여, 영역 제안망 없이도 엔드 투 엔드 훈련이 가능하도록 한다.
• 영역 특징은 완전히 연결된 레이어를 거쳐 순환 신경망(RNN) 언어 모델에 입력되어 기술적 캡션을 생성한다.
• 전체 네트워크는 검출 및 캡션 목적을 결합하여 단일 최적화 라운드로 엔드 투 엔드 훈련된다.
• 추론 시, 국소화 레이어를 통해 상위 100개의 영역 제안을 생성하고, 이를 RNN이 점수화하여 캡션 생성을 수행한다.
• 사전에 정의된 객체 카테고리가 필요 없이 자연어 질의를 사용해 테스트 시에 영역을 국소화할 수 있도록 개방형 탐지 기능을 지원한다.

실험 결과

연구 질문

• RQ1 단일 딥 러닝 모델이 엔드 투 엔드로 훈련 가능한 방식으로 밀도 국소화와 자연어 기술을 동시에 수행할 수 있는가?
• RQ2 비미분 가능한 영역 제안 방법과 비교해, 미분 가능한 완전히 컨볼루션된 국소화 레이어는 성능과 효율성에서 어떻게 향상되는가?
• RQ3 테스트 시 자연어 질의를 사용해 모델이 얼마나 잘 개방형 탐지에 일반화되는가?
• RQ4 제안된 FCLN 아키텍처가 Visual Genome 데이터셋에서 생성 및 검색 설정 모두에서 기존 최신 기술 수준의 모델을 초월하는가?
• RQ5 자유형 기술을 사용해 모델이 객체 외에도 부분, 특성, 객체 간 상호작용까지 국소화할 수 있는가?

주요 결과

• FCLN 모델은 랭킹 및 국소화 성능에서 Full Image RNN 베이스라인을 초월하여 중앙 순위를 13에서 5로 감소시키고, 0.5 IoU 기준 국소화 재현율을 0.053에서 0.153으로 향상시켰다.
• Region RNN 베이스라인을 개선하여 중앙 순위를 7에서 5로 감소시키고, 0.5 IoU 기준 국소화 재현율을 0.108에서 0.153으로 향상시켰다.
• 검색 작업에서 뛰어난 성능을 보이며, 질의 어휘와 국소화된 이미지 영역 간의 강한 일치를 보였다.
• 정성적 결과에서는 작은 객체, 부분, 특성, 행동(예: '테니스를 치고 있는 남자', '크롬 배기 파이프')까지 성공적으로 국소화하였다.
• 모델은 개방형 객체 탐지 기능을 제공하여 '기린의 머리', '화이트 테니스화'와 같은 표현을 정확히 국소화하였다. 다만 '버스의 앞바퀴'와 같은 공간적 차이를 인식하는 데에는 어려움을 겪었다.
• RPN이나 EdgeBoxes와 같은 비미분 가능한 영역 제안 기반 기법이 필요 없어졌으며, 이로 인해 완전한 엔드 투 엔드 훈련과 더 빠른 추론이 가능해졌다.