[논문 리뷰] e-SNLI-VE: Corrected Visual-Textual Entailment with Natural Language Explanations

Virginie Do, Oana-Maria Camburu외 2명|arXiv (Cornell University)|2020. 04. 07.

Multimodal Machine Learning Applications참고 문헌 15인용 수 25

한 줄 요약

이 논문은 중립 클래스에 대한 레이블을 수정한 SNLI-VE-2.0와 인간이 작성한 자연어 설명을 포함한 e-SNLI-VE라는 향상된 데이터셋을 소개한다. 학습 중 설명을 학습하고 추론 시 설명을 생성하는 모델을 제안하여 레이블 예측에서 90.55%의 균형 잡힌 정확도를 달성하고 설명의 관련성을 향상시켰으며, 설명 품질과 분류 정확도 사이의 상충 관계를 입증하였다.

ABSTRACT

The recently proposed SNLI-VE corpus for recognising visual-textual entailment is a large, real-world dataset for fine-grained multimodal reasoning. However, the automatic way in which SNLI-VE has been assembled (via combining parts of two related datasets) gives rise to a large number of errors in the labels of this corpus. In this paper, we first present a data collection effort to correct the class with the highest error rate in SNLI-VE. Secondly, we re-evaluate an existing model on the corrected corpus, which we call SNLI-VE-2.0, and provide a quantitative comparison with its performance on the non-corrected corpus. Thirdly, we introduce e-SNLI-VE, which appends human-written natural language explanations to SNLI-VE-2.0. Finally, we train models that learn from these explanations at training time, and output such explanations at testing time.

연구 동기 및 목표

• SNLI-VE 데이터셋의 중립 클래스에 대한 레이블 오류를 수정하기, 특히 Vu 등이 약 31%의 오류율로 추정한 바와 같이.
• 수정된 SNLI-VE-2.0 데이터셋을 기반으로 기존의 VTE 모델을 재평가하여 업데이트된 성능 기준을 제공하기.
• SNLI-VE-2.0에 인간이 작성한 자연어 설명을 추가하여 설명 가능성을 지원하는 e-SNLI-VE를 구축하기.
• 학습 중 설명을 학습하고 테스트 시 설명을 생성하는 모델을 훈련하여 시각-언어 추론 분야에서 설명 가능 AI를 발전시키기.

제안 방법

• 품질 관리 조치를 포함한 Amazon Mechanical Turk를 활용해 SNLI-VE의 검증 및 테스트 세트에 속한 중립 쌍에 대한 새로운 레이블을 수집하였으며, 이는 각 인스턴스당 3개의 앙케이트와 신뢰할 수 있는 예시를 포함하였다.
• BUTD 모델을 SNLI-VE-2.0에서 재평가하여 수정된 데이터에서의 개선된 신뢰성을 입증하였다.
• e-SNLI의 설명을 SNLI-VE-2.0에 추가하여 e-SNLI-VE를 구축하였으며, 일관성을 유지하기 위해 중립 쌍에 대해서만 설명을 재표기하였다.
• 두 가지 모델 아키텍처를 설계하였다: ExplToLabel-VE는 설명에서 레이블을 예측하고, EtP-BUTD-VE는 먼저 설명을 생성한 후 레이블을 예측한다.
• 분류에 대한 교차 엔트로피 손실과 설명 생성에 대한 언어 모델링 손실을 사용하여 엔드 투 엔드로 모델을 훈련하였으며, 검증 퍼플렉서티를 기반으로 모델 선택을 수행하였다.
• 균형 잡힌 정확도와 수동 평가를 통한 설명 관련성으로 모델 성능을 평가하였으며, 레이블 정확도와 설명 품질 사이에 상충 관계가 관찰되었다.

실험 결과

연구 질문

• RQ1 SNLI-VE의 중립 클래스에서 오류율이 얼마나 심각한가, 그리고 인간 앙케이트 보정을 통해 감소시킬 수 있는가?
• RQ2 중립 클래스를 수정함으로써 기존 VTE 모델의 성능에 어떤 영향을 미치는가?
• RQ3 자연어 설명은 시각-언어 추론 모델의 해석 가능성에 기여할 수 있는가?
• RQ4 설명을 생성하도록 훈련하는 모델에서 레이블 예측 정확도와 설명 품질 사이에 상충 관계가 존재하는가?
• RQ5 예측 이전에 설명을 생성하는 모델 아키텍처와 설명을 분류에만 사용하는 아키텍처는 어떻게 비교되는가?

주요 결과

• 수정된 SNLI-VE-2.0 데이터셋은 중립 클래스의 오류율을 약 31%에서 훨씬 낮은 수준으로 낮추어 수동 재표기의 필요성을 입증하였다.
• SNLI-VE-2.0에서의 재평가 결과 BUTD 모델은 수정된 테스트 세트에서 균형 잡힌 정확도 72.52%를 달성하여 더 신뢰할 수 있는 성능을 보였다.
• e-SNLI-VE에서 훈련된 ExplToLabel-VE 모델은 테스트 세트에서 90.55%의 균형 잡힌 정확도를 기록하여 레이블 예측 성능이 뛰어났다.
• EtP-BUTD-VE 모델은 퍼플렉서티 기반 최적화를 통해 수동 평가에서 35%의 설명 관련성을 달성하여 설명 품질이 향상되었음을 보여주었으며, 레이블 정확도가 3% 감소하였다.
• 상충 관계가 관찰되었다: 퍼플렉서티 기반 선택을 통해 설명 품질을 우선시한 모델는 더 높은 설명 관련성을 보였지만, 레이블 정확도는 다소 낮아서 69.40% vs. 72.52%로 나타났다.
• 정성적 분석 결과, 모델들은 주제에는 부합하지만 의미적으로 무관한 설명을 자주 생성하는 경향을 보였으며, 일반적인 오류로는 'are in a car' 또는 'Just because... doesn't mean...'와 같은 표현의 반복이 있었다.