[논문 리뷰] Learning to generalize to new compositions in image understanding

Yuval Atzmon, Jonathan Berant외 3명|arXiv (Cornell University)|2016. 08. 27.

Multimodal Machine Learning Applications참고 문헌 27인용 수 53

한 줄 요약

이 논문은 이미지 캡션 생성에서 알려진 실체의 새로운 조합에 대한 일반화를 향상시키기 위해 주어진 관계-객체(SRO) 삼중항을 사용한 구조적 표현 방법을 제안한다. MS-COCO의 구성적 분할에서 표준 LSTM 기반 캡션 모델(Show, Attend and Tell)과 구조적 예측 모델을 비교한 결과, 새로운 조합에 대해 약 7배 높은 정확도를 기록하여 구성적 일반화 능력이 뛰어남을 입증한다.

ABSTRACT

Recurrent neural networks have recently been used for learning to describe images using natural language. However, it has been observed that these models generalize poorly to scenes that were not observed during training, possibly depending too strongly on the statistics of the text in the training data. Here we propose to describe images using short structured representations, aiming to capture the crux of a description. These structured representations allow us to tease-out and evaluate separately two types of generalization: standard generalization to new images with similar scenes, and generalization to new combinations of known entities. We compare two learning approaches on the MS-COCO dataset: a state-of-the-art recurrent network based on an LSTM (Show, Attend and Tell), and a simple structured prediction model on top of a deep network. We find that the structured model generalizes to new compositions substantially better than the LSTM, ~7 times the accuracy of predicting structured representations. By providing a concrete method to quantify generalization for unseen combinations, we argue that structured representations and compositional splits are a useful benchmark for image captioning, and advocate compositional models that capture linguistic and visual structure.

연구 동기 및 목표

• 최신 이미지 캡션 생성 모델이 알려진 시각적 실체와 관계의 새로운 조합에 대해 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 구성적 데이터 분할을 사용하여 시각-언어 작업에서의 구성적 일반화를 평가하기 위한 벤치마크를 제안하기 위해.
• SRO 삼중항 기반의 구조적 예측 모델이 재귀 모델보다 새로운 조합에 더 뛰어난 일반화 능력을 보임을 입증하기 위해.
• 이미지 캡션에서 표준 내 클래스 일반화와 구성적 일반화를 정량화하고 분리하기 위해.

제안 방법

• 저자들은 이미지 캡션을 SRO 삼중항(주어진 관계-객체)으로 매핑하여 이미지 설명의 압축되고 해석 가능한 구조적 표현을 생성한다.
• 학습 및 테스트 세트 간에 공통의 SRO 삼중항이 없는 구성적 데이터 분할을 도입하여, 테스트 예제가 알려진 실체의 새로운 조합을 포함하도록 보장한다.
• 구조적 서포트 벡터 머신(SSVM)을 사용해 SRO 삼중항을 동시에 예측하는 구조적 예측 모델을 훈련하며, 점수 함수를 노드 및 쌍별 잠재변수로 분해한다: $ f(s,r,o) = w_S f_S(s) + w_O f_O(o) + w_R f_R(r) + w_{SR} f_{SR}(s,r) + w_{RO} f_{RO}(r,o) $.
• 객체 검출 점수, 공간 관계(위치, 거리, 각도, 겹침), 관계 및 주어진 관계/객체-관계 쌍에 대한 학습 데이터 기반 이항확률을 특징으로 사용한다.
• 특징은 정규화되고, 훈련은 허프만 손실을 최소화하기 위해 엔드 투 엔드로 수행되어 SRO 삼중항 예측 오차를 최소화한다.
• 시각적 검출 레이블과 캡션 단어 간의 매핑은 점별 상호정보량(PMI)을 사용하여 수립되며, 의미적 일치를 확보하기 위해 수동으로 정제된다.

실험 결과

연구 질문

• RQ1 최신 이미지 캡션 생성 모델은 알려진 시각적 실체와 관계의 새로운 조합에 대해 얼마나 잘 일반화되는가?
• RQ2 SRO 삼중항과 같은 구조적 표현은 이미지 캡션에서 구성적 일반화의 평가 및 측정을 향상시킬 수 있는가?
• RQ3 구조적 예측 모델은 새로운 조합에 대해 재귀적 어텐션 모델보다 성능이 뛰어나게 일반화되는가?
• RQ4 구성적 분할은 기존의 표준 MS-COCO 분할에서는 드러나지 않는 일반화 격차를 어느 정도 드러내는가?

주요 결과

• 구조적 예측 모델은 구성적 테스트 분할에서 약 14%의 정확도를 기록한 반면, LSTM 기반의 Show, Attend and Tell 모델은 약 2%의 정확도에 머물러, 구성적 일반화에서 약 7배의 성능 격차가 있음을 시사한다.
• LSTM 모델은 표준 MS-COCO 분할에서는 구조적 모델과 유사한 성능을 보이지만, 구성적 분할에서는 뚜렷한 실패를 보이며, 새로운 조합에 대한 일반화 능력에 심각한 결함이 있음을 드러낸다.
• 구성적 분할은 새로운 실체 조합에 대한 일반화를 효과적으로 분리하고 측정할 수 있으며, 현재 엔드 투 엔드 캡션 생성 모델의 한계를 드러낸다.
• 구조적 모델의 성능 향상은 학습된 특징 가중치와 쌍별 잠재변수를 통해 구성적 구조를 명시적으로 모델링하기 때문이다.
• SRO 삼중항의 사용은 삼중항 수준 정확도를 직접적으로 정확하게 평가할 수 있게 하여, 더 해석 가능하고 정량화 가능한 벤치마크를 제공한다.
• 결과는 시각적 및 언어적 구조를 명시적으로 모델링하는 것이 시각-언어 작업에서 강건한 일반화를 위해 필수적임을 시사한다.