[논문 리뷰] NLVR2 Visual Bias Analysis

Alane Suhr, Yoav Artzi|arXiv (Cornell University)|2019. 09. 23.

Multimodal Machine Learning Applications참고 문헌 5인용 수 8

한 줄 요약

이 논문은 NLVR2 벤치마크에서 언어 이해보다 시각적 단서를 이용하는 모델이 가능해지게 하는 시각적 편향을 규명한다. 데이터 수집 과정에서 작업자 기반의 레이블 할당으로 인해 이미지 쌍이 일관되지 않게 레이블링된다는 점을 분석하고, 균형 잡힌 및 균형 잡히지 않은 테스트 세트 하위집합을 사용한 새로운 평가 프로토콜을 제안한다. 이 프로토콜을 통해 VisualBERT와 LXMERT와 같은 최신 모델들이 시각적 편향에 거의 영향을 받지 않음을 입증함으로써, 이러한 모델들이 언어 이해에 의존하고 있음을 확인한다.

ABSTRACT

NLVR2 (Suhr et al., 2019) was designed to be robust for language bias through a data collection process that resulted in each natural language sentence appearing with both true and false labels. The process did not provide a similar measure of control for visual bias. This technical report analyzes the potential for visual bias in NLVR2. We show that some amount of visual bias likely exists. Finally, we identify a subset of the test data that allows to test for model performance in a way that is robust to such potential biases. We show that the performance of existing models (Li et al., 2019; Tan and Bansal 2019) is relatively robust to this potential bias. We propose to add the evaluation on this subset of the data to the NLVR2 evaluation protocol, and update the official release to include it. A notebook including an implementation of the code used to replicate this analysis is available at http://nlvr.ai/NLVR2BiasAnalysis.html.

연구 동기 및 목표

• 데이터 수집 과정에서 작업자 기반의 레이블 할당으로 인해 NLVR2 벤치마크에 시각적 편향이 존재하는지 조사하는 것.
• 다중 레이블링을 통한 이미지 쌍 빈도와 레이블 일관성 분석을 통해 시각적 편향의 정도를 정량화하는 것.
• 시각적 편향에 강건한 인스턴스를 분리하여 공정한 모델 평가를 가능하게 하는 새로운 평가 프로토콜을 개발하는 것.
• 기존 최신 모델들—VisualBERT와 LXMERT—을 이 새로운 프로토콜에 대해 평가하여, 이들이 시각적 편향을 악용하는지 아니면 언어적 추론에 의존하는지 확인하는 것.
• 장기적인 평가 신뢰성을 향상시키기 위해 새로운 평가 하위집합을 공식 NLVR2 벤치마크에 통합할 것을 제안하는 것.

제안 방법

• 레이블 할당의 일관성 여부를 확인하기 위해, 동일하거나 다른 레이블을 가진 쌍이 여러 번 나타나는 이미지 쌍을 훈련 세트에서 식별하는 것.
• 랜덤 할당 하에 기대되는 레이블 분포를 계산하고, 관측된 빈도와 비교하여 편향을 탐지하는 것.
• 각 이미지 쌍이 반대 레이블을 가진 채로 두 번 나타나는 균형 잡힌 하위집합을 구성하여, 시각적 편향을 악용할 수 없도록 하는 것.
• 같은 레이블을 가진 쌍이 여러 번 나타나는 비균형 잡힌 하위집합을 구성하여, 잠재적 편향을 표현하는 것.
• 기존 최신 모델들—VisualBERT와 LXMERT—을 두 하위집합 모두에서 평가하여 원래 테스트 세트 대비 성능 변화를 측정하는 것.
• 균형 잡힌 하위집합을 강건한 평가 기준으로 사용하고, 일관성 지표에 영향을 주지 않도록 이 하위집합에서만 정확도를 보고하는 것.

실험 결과

연구 질문

• RQ1 데이터 수집 과정에서 비랜덤 레이블 할당으로 인해 NLVR2에 시각적 편향이 존재하는가?
• RQ2 반복적으로 나타나는 이미지 쌍의 레이블 일관성 측면에서 시각적 편향의 크기는 어느 정도인가?
• RQ3 모델이 언어적 요소 없이도 시각적 편향만을 이용해 높은 정확도를 달성할 수 있는가?
• RQ4 최신 모델들이 시각적 편향에 강건한 평가 하위집합에서 원래 테스트 세트와 비교해 어떻게 성능을 내는가?
• RQ5 균형 잡힌 하위집합에서의 성능 저하가 모델이 언어적 추론에 의존하고 있음을 시사하는가?

주요 결과

• 훈련 세트에서 두 번 이상 나타나는 총 21,267개의 이미지 쌍이 동일한 레이블을 가짐. 이는 랜덤 할당 기대값인 16,933개를 초과하여 시각적 편향이 존재함을 시사한다.
• 순수하게 시각적 편향만을 악용하는 최악의 모델이 개발 세트에서 83.53%의 정확도를 기록함. 이는 시각적 편향이 악용 가능하지만, 주요 요소는 아님을 의미한다.
• 개발 세트의 균형 잡힌 하위집합에서 VisualBERT의 정확도는 67.4%에서 66.0%로 1.4점 하락했고, LXMERT는 0.9점 하락하여, 시각적 편향에 거의 의존하지 않음을 나타낸다.
• 비균형 잡힌 하위집합에서는 두 모델 모두 약간의 성능 향상을 보였음—VisualBERT는 +1.7점, LXMERT는 +1.5점—시각적 편향이 악용 가능함을 확인한다.
• 테스트 세트에서는 균형 잡힌 하위집합에서 성능이 안정적으로 유지됨(VisualBERT: -1.3, LXMERT: -1.4), 반면 비균형 잡힌 하위집합에서는 약간의 성능 향상이 관찰되어, 시각적 편향 존재를 뒷받침한다.
• 저자들은 공식 NLVR2 벤치마크에 균형 잡힌 평가 하위집합을 통합할 것을 제안하여, 더 강건한 모델 평가를 가능하게 한다.