[논문 리뷰] Binary Image Selection (BISON): Interpretable Evaluation of Visual Grounding.

Hexiang Hu, Ishan Misra외 1명|arXiv (Cornell University)|2019. 01. 19.

Multimodal Machine Learning Applications참고 문헌 45인용 수 10

한 줄 요약

이 논문은 시각적 기초화의 새로운 해석 가능한 평가 작업인 이진 이미지 선택(BISON)을 소개한다. BISON은 문맥적으로 유사한 두 장의 이미지 중에서 캡션과 가장 관련성이 높은 이미지를 선택하도록 요구하는 작업으로, 현재 모델들이 언어적 뉘앙스와의 정렬 능력에서 얼마나 떨어져 있는지를 드러낸다. BISON은 표준 평가 지표에서 인간을 능가하는 캡션 생성 모델이 미세한 수준의 시각적 기초화에서는 여전히 인간에 비해 뚜렷이 뒤처지는 것으로 나타내며, 현재 모델들이 언어적 뉘앙스와의 정렬 능력에서의 한계를 보여준다.

ABSTRACT

Providing systems the ability to relate linguistic and visual content is one of the hallmarks of computer vision. Tasks such as image captioning and retrieval were designed to test this ability, but come with complex evaluation measures that gauge various other abilities and biases simultaneously. This paper presents an alternative evaluation task for visual-grounding systems: given a caption the system is asked to select the image that best matches the caption from a pair of semantically similar images. The system's accuracy on this Binary Image SelectiON (BISON) task is not only interpretable, but also measures the ability to relate fine-grained text content in the caption to visual content in the images. We gathered a BISON dataset that complements the COCO Captions dataset and used this dataset in auxiliary evaluations of captioning and caption-based retrieval systems. While captioning measures suggest visual grounding systems outperform humans, BISON shows that these systems are still far away from human performance.

연구 동기 및 목표

• 미세한 언어-시각 정렬 능력을 고립하여 평가할 수 있는 해석 가능한 평가 방법의 부족을 해결하기 위해.
• 시각-언어 모델의 다중 능력과 편향을 혼합하는 기존 평가 지표의 한계를 규명하기 위해.
• 텍스트를 시각적 콘텐츠에 기초시키는 핵심 능력을 고립하고 측정할 수 있는 단순하면서도 효과적인 이진 이미지 선택 작업을 제안하기 위해.
• 실증적 평가를 통해 현재의 캡션 생성 및 검색 모델이 미세한 수준의 시각적 기초화에서 인간 수준의 성능을 아직 달성하지 못하고 있음을 입증하기 위해.

제안 방법

• BISON 작업은 캡션과 두 장의 의미적으로 유사한 이미지를 제시하며, 캡션과 가장 잘 맞는 이미지를 선택하도록 요구한다.
• 데이터셋은 COCO 캡션을 보완하기 위해, 캡션 내용과 관련된 미세한 의미적 차이를 가진 이미지 쌍을 구성한다.
• 정확도를 기반으로 평가하여, 쌍에서 정확한 이미지를 선택한 비율을 측정함으로써 기초화 성능을 직접적이고 해석 가능한 방식으로 평가한다.
• 기존의 캡션 생성 및 검색 모델을 활용하여 BISON 벤치마크에서의 성능을 평가함으로써 인간 성능과의 비교를 가능하게 한다.
• 이미지 쌍이 외관상으로 매우 유사하지만 캡션과 관련된 특성에서 다름을 보이도록 하여 혼란 요인을 최소화한다.
• 평가 프레임워크는 특정 언어적 및 시각적 차이에 대한 모델 행동의 미세한 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최신 시각적 기초화 모델들이 미세한 언어-시각 정렬을 고립한 이진 이미지 선택 작업에서 얼마나 잘 수행하는가?
• RQ2 더 해석 가능한 기초화 평가와 비교했을 때, 표준 캡션 생성 및 검색 지표가 모델 성능을 과대평가하는 정도는 어느 정도인가?
• RQ3 BISON 벤치마크는 기존 평가 프로토콜이 가림막은 모델과 인간 간의 성능 격차를 감지할 수 있는가?
• RQ4 현재 모델이 시각적 기초화에서 해결하기 어려운 주요 시각적 및 언어적 차이 유형은 무엇인가?

주요 결과

• BISON 벤치마크는 표준 캡션 지표에서 인간을 능가하는 시각적 기초화 모델이 미세한 수준의 이미지 선택에서는 인간에 비해 뚜렷이 뒤처지는 것으로 드러났다.
• COCO 캡션으로 훈련된 모델는 표준 평가에서 높은 정확도를 보였지만, BISON 작업에선 중간 수준의 성능을 기록하여, 표준 지표와 진정한 기초화 능력 간의 괴리가 있음을 시사한다.
• BISON에서 모델과 인간 간의 성능 격차는 상당히 크며, 이는 현재 모델들이 캡션의 미세한 언어적 차이와의 정렬 능력이 떨어짐을 시사한다.
• BISON 작업은 핵심 시각적 기초화 능력을 성공적으로 고립하고 측정하였으며, 복잡한 다면적 평가 지표가 가리고 있던 현재 모델의 한계를 드러냈다.