[논문 리뷰] VALSE: A Task-Independent Benchmark for Vision and Language Models Centered on Linguistic Phenomena

Letitia Parcalabescu, Michele Cafagna외 4명|arXiv (Cornell University)|2021. 12. 14.

Multimodal Machine Learning Applications참고 문헌 61인용 수 6

한 줄 요약

VALSE는 작업에 종속되지 않은 시각-언어 모델을 평가하기 위한 벤치마크로, 정교하게 구성된 오염물(foil)을 사용하여 언어 현상의 지문화 능력을 여섯 가지 구조화된 테스트—존재, 복수, 세는 것, 공간 관계, 동작, 공호성—을 통해 평가한다. 엄격한 오염물 검증에도 불구하고 현재의 모델들은 낮은 성능을 보이며, 작업 특화 미세조정을 초월한 언어 일반화의 심각한 격차를 드러낸다.

ABSTRACT

We propose VALSE (Vision And Language Structured Evaluation), a novel benchmark designed for testing general-purpose pretrained vision and language (V&L) models for their visio-linguistic grounding capabilities on specific linguistic phenomena. VALSE offers a suite of six tests covering various linguistic constructs. Solving these requires models to ground linguistic phenomena in the visual modality, allowing more fine-grained evaluations than hitherto possible. We build VALSE using methods that support the construction of valid foils, and report results from evaluating five widely-used V&L models. Our experiments suggest that current models have considerable difficulty addressing most phenomena. Hence, we expect VALSE to serve as an important benchmark to measure future progress of pretrained V&L models from a linguistic perspective, complementing the canonical task-centred V&L evaluations.

연구 동기 및 목표

• 작업 특화 벤치마크를 초월해 시각-언어 모델의 언어 현상에 대한 민감도를 더 세밀하게 평가할 수 있는 평가 부족 문제를 해결하기 위해.
• 작업 특화 애너테이션에 의존하지 않고 어순, 어근 수, 공호성 등의 언어적 구성요소를 분리하여 진단용 벤치마크를 개발하기 위해.
• 자동화된 방법(MLM, NLI)과 인간 검증, 빈도 균형 조정을 결합하여 오염물의 타당성과 데이터 아티팩트를 최소화하기 위해.
• 재학습 없이도 기존의 사전학습된 모델과 호환되는 제로샷 평가 프레임워크를 제공하기 위해.
• 다양한 언어 현상에 걸쳐 언어 지문화 능력을 측정할 수 있는 신뢰성 있고 자원을 적게 소비하는 벤치마크를 확립하기 위해.

제안 방법

• VALSE는 여섯 가지 테스트를 구성하며, 각각 존재, 복수, 세는 것, 공간 관계, 동작, 공호성과 같은 독립적인 언어 현상에 초점을 맞춘다.
• 각 테스트에서 캡션은 특정 언어적 수정을 통해 생성된 오염물과 쌍을 이룬다. 예를 들어 존재에 대해서는 否정, 세는 데에는 수사어 교체, 동작에 대해서는 작용자 교환 등을 사용한다.
• 오염물은 마스크된 언어 모델링(MLM), 자연어 추론(NLI), 인간 애너테이션을 통해 검증되어 의미적 타당성과 언어적 정확성을 확보한다.
• 캡션과 오염물 간의 단어 빈도 분포를 제닝-쇼난 분산을 사용하여 균형을 맞춰 통계적 편향을 방지한다.
• 캡션 및 VQA 데이터셋(MSCOCO, Visual7W 등)을 활용하여 애너테이션 비용을 최소화하고 데이터 품질을 극대화한다.
• 평가 방법은 제로샷이다. 모델은 재학습 없이 표준 예측 헤드를 사용하여 실제 캡션과 오염물을 구분하도록 테스트된다.

실험 결과

연구 질문

• RQ1 사전학습된 시각-언어 모델은 시각적 맥락에서 어순이나 어근 수와 같은 미세한 언어적 차이를 얼마나 잘 감지할 수 있는가?
• RQ2 언어 현상이 조작된 상황에서 모델은 의미적으로 타당한 오염물과 실제 캡션을 신뢰성 있게 구분할 수 있는가?
• RQ3 MLM, NLI, 인간 검증 등의 오염물 생성 전략이 벤치마크의 타당성과 강건성에 어떤 영향을 미치는가?
• RQ4 현재의 시각-언어 모델은 표준 작업에서 잘 성능을 내더라도, 언어 현상의 지문화에 대해 체계적인 실패를 보이는가?
• RQ5 캡션과 오염물 간의 단어 빈도 분포에 심각한 편향이 존재하여 모델을 오도할 가능성은 없는가?

주요 결과

• 현재의 시각-언어 모델은 VALSE의 여섯 가지 테스트 전반에서 일관되게 낮은 성능를 보이며, 언어 현상의 지문화 능력이 제한되어 있음을 시사한다.
• 인간 검증 이후에도 캡션과 오염물 간의 제닝-쇼난 분산이 안정적으로 유지되어 통계적 편향이 최소화되었음을 확인했다.
• 인간 검증을 통한 오염물은 높은 일치도를 보이며 벤치마크의 신뢰성을 크게 향상시켰다.
• 단지 텍스트 기반 모델(예: 마스크된 언어 모델링)은 시각적 오염물 태스크에서 낮은 성능를 보이며, 시각적 지문화가 간단히 학습되지 않는다는 것을 시사한다.
• NLI와 MLM을 활용한 오염물 검증은 타당성 없거나 의미적으로 일관되지 않은 오염물을 효과적으로 걸러내는 데 성공했다.
• 종합적으로 볼 때, 최신 기술 모델들조차도 시각적 맥락이 제공되더라도 언어의 미묘한 차이를 다루는 데 어려움을 겪고 있음을 벤치마크가 드러내었으며, 이는 더 언어에 민감한 훈련과 평가가 필요함을 강조한다.