[논문 리뷰] OBJ2TEXT: Generating Visually Descriptive Language from Object Layouts

Xuwang Yin, Vicente Ordóñez|arXiv (Cornell University)|2017. 07. 22.

Multimodal Machine Learning Applications참고 문헌 35인용 수 11

한 줄 요약

OBJ2TEXT는 원시 픽셀 데이터에 의존하지 않고, 객체 카테고리와 바운딩 박스 위치로 정의된 객체 레이아웃에서 서열 기반 자연어 설명 문장을 생성하는 서열-서열 LSTM 모델을 제안한다. 레이아웃을 서열로 인코딩함에도 불구하고 모델은 공간 관계와 객체 수를 효과적으로 포착하며, CNN-RNN 이미지 설명 모델과 조합했을 때 CIDEr 점수 0.950을 기록하여 기준 모델보다 0.087점 높게 성능을 냈다.

ABSTRACT

Generating captions for images is a task that has recently received considerable attention. In this work we focus on caption generation for abstract scenes, or object layouts where the only information provided is a set of objects and their locations. We propose OBJ2TEXT, a sequence-to-sequence model that encodes a set of objects and their locations as an input sequence using an LSTM network, and decodes this representation using an LSTM language model. We show that our model, despite encoding object layouts as a sequence, can represent spatial relationships between objects, and generate descriptions that are globally coherent and semantically relevant. We test our approach in a task of object-layout captioning by using only object annotations as inputs. We additionally show that our model, combined with a state-of-the-art object detector, improves an image captioning model from 0.863 to 0.950 (CIDEr score) in the test benchmark of the standard MS-COCO Captioning task.

연구 동기 및 목표

• 객체 카테고리와 공간 바운딩 박스만을 입력으로 사용하여 의미적으로 일관되고 전반적으로 일관된 설명 문장을 생성하는 모델을 개발하는 것.
• 서열-서열 프레임워크에서 공간 관계와 객체 수가 효과적으로 인코딩되고 활용될 수 있는지 조사하는 것.
• 색상, 질감, 배경과 같은 시각적 특징이 없는 조건에서, 공간적 정보와 수량 정보가 설명 품질에 미치는 역할을 집중적으로 평가하는 것.
• CNN의 깊이 있는 시각적 특징과 객체 레이아웃 표현을 조합함으로써 이미지 설명 성능이 표준 모델을 초월할 수 있음을 보여주는 것.

제안 방법

• 모델은 객체 레이아웃을 (카테고리, 위치) 쌍의 서열로 처리하기 위해 이중 스트림 LSTM 인코더를 사용하며, 공간적 및 의미적 관계를 포착한다.
• 객체 위치는 정규화된 바운딩 박스 좌표 (x, y, w, h)로 표현되며, 객체 카테고리는 워드 벡터로 임베딩된다.
• 디코더는 인코딩된 레이아웃 표현에 조건부로 토큰 단위로 서술적 설명 문장을 생성하는 표준 LSTM 언어 모델이다.
• 모델은 MS-COCO 데이터셋에서 진짜 객체 애너테이션과 해당 설명 문장을 사용하여 엔드 투 엔드로 훈련된다.
• 성능 기여도를 분리하기 위해 객체 위치 또는 수량을 제거하는 아블레이션 스터디를 실시한다.
• 최신 객체 검출기(YOLO)와 CNN-RNN 설명 모델과 결합하여 이미지 설명 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 서열 기반 객체 레이아웃 인코딩으로부터 서열-서열 모델이 공간 관계와 객체 수를 효과적으로 학습할 수 있는가?
• RQ2 색상, 질감과 같은 픽셀 수준의 시각적 특징이 없는 조건에서, 객체 카테고리와 위치 정보만으로는 설명 품질이 크게 떨어지는가?
• RQ3 객체 수와 공간 위치가 생성된 설명의 의미 일관성과 정확도에 얼마나 기여하는가?
• RQ4 CNN의 깊이 있는 시각적 특징과 객체 레이아웃 표현을 조합하면 표준 모델을 초월해 이미지 설명 성능을 향상시킬 수 있는가?

주요 결과

• CNN-RNN 모델과 조합했을 때, MS-COCO 테스트 세트에서 CIDEr 점수 0.950을 기록하여 기준 CNN-RNN 모델(0.863)보다 0.087점 높게 성능을 냈다.
• 아블레이션 스터디 결과, 객체 수와 공간 위치 모두 설명 품질에 중요한 기여를 하며, 둘 중 하나를 제거하면 성능이 떨어졌다.
• 인간 평가 결과, 모든 평가자가 동의한 경우 65.3%의 비율에서 통합 모델이 기준 CNN-RNN 모델보다 선호되었다.
• 색상, 질감, 배경 정보 없이도 모델은 전반적으로 일관되고 의미적으로 관련된 서술을 생성할 수 있었으며, 이는 공간적 및 카테고리적 데이터만으로도 충분함을 보여주었다.
• 정성적 분석 결과, 통합 모델은 각각의 구성 요소보다 더 정확하고 종합적인 설명을 생성했으며, 상호 보완적인 강점을 활용했다.
• YOLO에서 유래한 객체 레이아웃만을 사용하는 OBJ2TEXT-YOLO는 이미지 맥락 없이도 납득할 수 있는 서술을 생성했으며, 이는 레이아웃 정보만으로도 의미 있는 설명 생성이 가능함을 증명한다.