[논문 리뷰] Misleading Failures of Partial-input Baselines

Shi Feng, Eric Wallace외 1명|arXiv (Cornell University)|2019. 05. 14.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 자연어처리(NLP)에서 데이터셋 아티팩트를 탐지하기 위해 흔히 사용되는 부분 입력 기반 모델이, 전체 입력에만 존재하는 단순하고 악용 가능한 패턴을 식별하지 못할 수 있음을 보여준다. 저자들은 가설에 하나의 단어를 더한 모델이 이전에 이러한 단순화 전략에 면역으로 간주되었던 '어려운' SNLI 예제들 중 15%를 해결할 수 있음을 보여주며, 데이터셋 검증 과정에서 심각한 시각적 맹점이 있음을 드러낸다.

ABSTRACT

Recent work establishes dataset difficulty and removes annotation artifacts via partial-input baselines (e.g., hypothesis-only models for SNLI or question-only models for VQA). When a partial-input baseline gets high accuracy, a dataset is cheatable. However, the converse is not necessarily true: the failure of a partial-input baseline does not mean a dataset is free of artifacts. To illustrate this, we first design artificial datasets which contain trivial patterns in the full input that are undetectable by any partial-input model. Next, we identify such artifacts in the SNLI dataset - a hypothesis-only model augmented with trivial patterns in the premise can solve 15% of the examples that are previously considered "hard". Our work provides a caveat for the use of partial-input baselines for dataset verification and creation.

연구 동기 및 목표

• 부분 입력 기반 모델이 실패한다고 해서 데이터셋에 아티팩트가 없다는 가정을 도전하기 위해.
• 전체 입력에만 존재하는 단순하고 악용 가능한 패턴이 존재할 수 있으며, 이러한 패턴은 부분 입력 모델에 의해 탐지되지 않는다는 것을 보여주기 위해.
• 실제 세계의 데이터셋(예: SNLI)에 이러한 아티팩트가 존재하여 부분 입력 검증의 신뢰성을 해칠 수 있음을 경험적으로 입증하기 위해.
• NLP 커뮤니티가 데이터셋 품질과 일반화 능력을 평가하는 데 부분 입력 기반 모델을 유일한 기준으로 과도하게 의존하지 말 것을 경고하기 위해.
• 데이터셋 분석과 제작 과정에서 전체 입력 패턴을 고려하는 보다 종합적인 검증 방법을 권장하기 위해.

제안 방법

• 부분 입력 모델이 탐지할 수 없는 인위적인, 전체 입력 전용 패턴을 가진 합성 데이터셋을 구축하기 위해.
• 가설에 하나의 단어를 더한 모델을 설계하여, 가설 전용 모델이 실패하는 경우에 있어서도 단순한 패턴이 전제에서 해결 가능할 수 있는지 테스트하기 위해.
• 표현 공간에서 k-최근접 이웃(k-nearest neighbors)을 사용하여 전체 입력 모델이 학습한 특정 아티팩트를 해석하고 식별하기 위해.
• 실제 데이터셋(SNLI 등)에 부분 입력 기반 모델을 적용하여 성능을 비교하고, 전체 입력 패턴이 성공을 가능하게 하는 경우를 식별하기 위해.
• 부분 입력 기반 모델의 실패 원인을 분석하여, 데이터셋 아티팩트를 탐지하는 데서의 한계를 폭 드러내기 위해.
• 적대적 평가 및 해석 기법을 사용하여 모델의 강건성과 취약성을 검증하기 위해.

실험 결과

연구 질문

• RQ1 부분 입력 기반 모델이 전체 입력에만 존재하는 아티팩트를 탐지하지 못할 수 있는가?
• RQ2 전체 입력 전용 패턴이 부분 입력 기반 모델이 '어려운' 것으로 간주하는 예제들을 얼마나 많이 해결할 수 있는가?
• RQ3 실제 NLP 데이터셋 중 이러한 전체 입력 아티팩트가 존재하고 표준 부분 입력 검증으로부터 회피되는 경우가 있는가?
• RQ4 k-최근접 이웃 같은 해석 방법이 전체 입력 환경에서 모델이 악용하는 특정 패턴을 어떻게 식별하는가?
• RQ5 이러한 발견은 NLP의 데이터셋 제작과 모델 평가에 어떤 영향을 미치는가?

주요 결과

• 부분 입력 기반 모델은 전체 입력에만 존재하는 단순하고 악용 가능한 패턴을 탐지하지 못할 수 있으며, 이는 데이터셋 난이도에 대한 잘못된 결론을 이끌 수 있다.
• SNLI 데이터셋에서, 가설에 하나의 단어를 더한 모델이 이전에 '어려운' 것으로 간주되었던 예제들 중 15%를 전체 입력의 전제 패턴 덕분에 해결할 수 있었다.
• 합성된 데이터셋을 통해 부분 입력 모델이 특정 전체 입력 아티팩트를 탐지할 수 없음을 입증함으로써, 이러한 실패의 이론적 가능성을 입증하였다.
• k-최근접 이웃 기반 해석을 통해 전체 입력 모델이 전제에서 단순하고 허수적인 상관관계를 학습하고 있음을 밝혀내었으며, 이러한 상관관계는 가설 전용 모델에선 탐지되지 않는다.
• 부분 입력 기반 모델의 실패가 아티팩트의 부재를 의미하는 것은 아니며, 오직 해당 아티팩트가 제한된 입력 모odal을 통해 악용되지 않을 뿐이다.
• 데이터셋 제작 과정에서 부분 입력 기반 모델을 적대적 필터로 사용할 경우, 이는 기준을 속이기만 하는, 진정으로 모든 단순화 전략에 강건하지 않은 데이터셋을 만들어낼 수 있다.