[논문 리뷰] Empirical performance upper bounds for image and video captioning

Li Yao, Nicolas Ballas외 3명|arXiv (Cornell University)|2015. 11. 14.

Multimodal Machine Learning Applications참고 문헌 40인용 수 4

한 줄 요약

이 논문은 시각적 개념 추출과 언어 생성으로 작업을 분해하여 이미지 및 동영상 캡션 생성의 경험적 성능 상한선을 제안한다. 완벽한 시각적 개념 검출을 가정하고 단순한 조건부 언어 모델을 훈련시킴으로써, MS-COCO, YouTube2Text, LSMDC에서 성능 상한선을 설정하여 최신 모델들이 여전히 부족함을 보이고 있음을 밝히며, 모델 용량과 정확도 간의 상충 관계, 데이터셋 난이도를 정량화한다.

ABSTRACT

The task of associating images and videos with a natural language description has attracted a great amount of attention recently. Rapid progress has been made in terms of both developing novel algorithms and releasing new datasets. Indeed, the state-of-the-art results on some of the standard datasets have been pushed into the regime where it has become more and more difficult to make significant improvements. Instead of proposing new models, this work investigates the possibility of empirically establishing performance upper bounds on various visual captioning datasets without extra data labelling effort or human evaluation. In particular, it is assumed that visual captioning is decomposed into two steps: from visual inputs to visual concepts, and from visual concepts to natural language descriptions. One would be able to obtain an upper bound when assuming the first step is perfect and only requiring training a conditional language model for the second step. We demonstrate the construction of such bounds on MS-COCO, YouTube2Text and LSMDC (a combination of M-VAD and MPII-MD). Surprisingly, despite of the imperfect process we used for visual concept extraction in the first step and the simplicity of the language model for the second step, we show that current state-of-the-art models fall short when being compared with the learned upper bounds. Furthermore, with such a bound, we quantify several important factors concerning image and video captioning: the number of visual concepts captured by different models, the trade-off between the amount of visual elements captured and their accuracy, and the intrinsic difficulty and blessing of different datasets.

연구 동기 및 목표

• 추가적인 애너테이션 또는 인간 평가 없이 시각적 캡션 생성의 성능 상한선을 수립하기 위해.
• 최신 모델과 이미지 및 동영상 캡션 생성의 이론적 성능 한계 사이의 격차를 조사하기 위해.
• 기존 모델이 포착하는 시각적 개념의 수와 커버리지 및 정확도 간의 상충 관계를 정량화하기 위해.
• 다양한 캡션 생성 데이터셋의 내재적 난이도와 잠재적 '복덕' 효과를 분석하기 위해.
• 시각적 개념과 언어 모델에 기반한 최소화되고 확장 가능한 방법을 사용하여 모델 성능의 기준을 제공하기 위해.

제안 방법

• 시각적 캡션 생성을 두 단계로 분해: 시각적 개념 추출 및 언어 생성.
• 첫 번째 단계의 대체로 이미지/동영상에서 완벽한 시각적 개념 추출을 가정.
• 추출된 시각적 개념에 기반해 조건부 언어 모델을 훈련시어 캡션을 생성.
• 이 두 단계 설정을 통해 캡션 생성 성능의 경험적 상한선을 추정.
• MS-COCO, YouTube2Text, LSMDC(M-VAD + MPII-MD) 세 데이터셋에 이 방법을 적용.
• 표준 지표를 사용해 상한선을 평가하고 실제 최신 모델 성능과 비교.

실험 결과

연구 질문

• RQ1 현재 모델은 이미지 및 동영상 캡션 생성에서 이론적 성능 한계에 얼마나 가까이 다가설 수 있는가?
• RQ2 시각적 개념 커버리지와 정확도가 최종 캡션 생성 성능에 어떤 영향을 미치는가?
• RQ3 MS-COCO, YouTube2Text, LSMDC와 같은 서로 다른 데이터셋 간의 내재적 난이도와 모델 잠재력은 어떻게 비교되는가?
• RQ4 최신 모델들이 상한선에 비해 시각적 개념을 얼마나 낭비하고 있는가?
• RQ5 추출된 개념에 기반한 단순한 언어 모델이 성능 상한선의 신뢰할 수 있는 대체 측정 기준이 될 수 있는가?

주요 결과

• 최신 모델들은 이 연구에서 수립한 경험적 상한선에 비해 뚜렷이 성능이 열등하다.
• 불완전한 시각적 개념 추출과 단순한 언어 모델에도 불구하고, 상한선는 현재 모델의 출력보다 훨씬 높게 유지된다.
• 이 방법은 현재 모델들이 데이터에 존재하는 시각적 개념의 일부분만 포착하고 있음을 드러내어, 시각적 이해의 심각한 격차를 시사한다.
• 포괄성과 정확도 사이에 상충 관계가 존재하며, 높은 커버리지가 항상 성능 향상으로 이어지는 것은 아니다.
• LSMDC 데이터셋은 MS-COCO와 YouTube2Text보다 더 어려운 것으로 밝혀졌고, YouTube2Text는 동영상 콘텐츠의 높은 재현성으로 인해 '복덕' 효과를 보였다.
• 상한선 분석은 각 데이터셋에 대한 성능 한계를 정량화하여 향후 모델 개발을 위한 새로운 기준을 제공한다.