[논문 리뷰] Breaking NLI Systems with Sentences that Require Simple Lexical Inferences

Max Glockner, Vered Shwartz외 1명|arXiv (Cornell University)|2018. 05. 06.

Topic Modeling참고 문헌 13인용 수 8

한 줄 요약

이 논문은 최신 신경망 모델이 단순어휘 추론을 다룰 때 일반화 능력이 제한됨을 드러내는 새로운 NLI 테스트 세트를 소개한다. '색소폰' 대신 '전기 기타'처럼 단 한 단어만 다를 뿐인 최소한의 교란을 가진 문장 쌍을 만들면서, SNLI에서 훈련된 모델들이 정확도가 크게 떨어지는 (11~33점 감소) 것을 입증함으로써, 진정한 어휘 추론이 아니라 데이터셋 특유의 패턴에 의존하고 있음을 보여준다. 이는 모든 단어가 사전 학습된 임bedding에 포함되어 있음에도 불구하고 그렇다.

ABSTRACT

We create a new NLI test set that shows the deficiency of state-of-the-art models in inferences that require lexical and world knowledge. The new examples are simpler than the SNLI test set, containing sentences that differ by at most one word from sentences in the training set. Yet, the performance on the new test set is substantially worse across systems trained on SNLI, demonstrating that these systems are limited in their generalization ability, failing to capture many simple inferences.

연구 동기 및 목표

• 최신 NLI 모델이 훈련 데이터를 초월해 단순어휘 추론을 수행할 수 있는지 평가하기.
• SNLI에서 훈련된 모델이 초등적인 어휘 지식, 예를 들어 하위어 관계(hypernymy)와 공하위어 관계(co-hyponymy)를 포착하지 못하는지 조사하기.
• 최소한의 교란에 의한 성능 저하가 어휘 지식 부족 때문인지, 데이터 희소성 때문인지 판단하기.
• 복잡한 의미나 OOV(등장하지 않은 단어) 없이 어휘 추론 능력을 독립적으로 분리해내는 벤치마크 테스트 세트 개발하기.

제안 방법

• 단 한 단어만 다를 뿐이지만 어휘 추론이 필요한 문장 쌍(예: '색소폰' → '전기 기타'는 공하위어 관계)으로 구성된 테스트 세트를 구축하기.
• 테스트 세트의 모든 단어가 SNLI 훈련 데이터와 사전 학습된 단어 임베딩에 모두 포함되어 있음을 보장하여, 어휘 지식과 어휘나 분포의 이질성 간의 영향을 분리하기.
• 특정 어휘 관계를 테스트할 수 있도록 설계: 상위어 관계(예: '와인' → '샴페인'), 공하위어 관계(예: '색소폰' → '기타'), 반대어 관계(예: '행복' → '슬픔').
• SNLI, SNLI+MultiNLI, SNLI+SciTail에서 훈련된 여러 신경망 NLI 모델(예: ESIM, 분해 가능 주의, KIM)을 훈련하여 데이터 의존성 평가하기.
• 훈련 데이터에서의 단어 쌍 빈도, 모델 성능의 단어 유형별 분석, 모순 단어 쌍의 코사인 유사도를 분석하기.
• 외부 어휘 지식(예: WordNet 기반 KIM)을 사용하는 모델과 사용하지 않는 모델의 성능을 비교하여 어휘 자원의 영향을 분리하기.

실험 결과

연구 질문

• RQ1 최신 NLI 모델이 단순 추론이 필요한 최소한의 어휘 교란에 대해, 모든 단어가 사전 학습된 임베딩에 포함되어 있음에도 불구하고 일반화할 수 있는가?
• RQ2 SNLI에서 훈련된 모델이 더 단순하고 기존 어휘만 사용하는 새로운 테스트 세트에서 성능이 열등한 이유는 무엇인가?
• RQ3 특정 단어 쌍의 빈도가 훈련 데이터에서 얼마나 중요한 영향을 미치는가?
• RQ4 모델 예측 정확도에 영향을 주는 모순 단어 쌍의 의미 유사도(코사인 유사도)는 어떻게 되는가?
• RQ5 외부 어휘 지식(예: WordNet)이 어휘 추론 작업의 성능을 크게 향상시킬 수 있는가, 아니면 성능 향상이 미미한가?

주요 결과

• SNLI에서 훈련된 모델은 테스트 세트에서 정확도가 11~33점 감소하는 심각한 성능 저하를 보였지만, 테스트 세트는 단순하고 모든 어휘가 알려져 있음에도 불구하고 그렇다.
• 성능은 훈련 데이터에서의 단어 쌍 빈도와 강하게 상관되어 있음: 100번 이상 출현한 쌍은 98.5% 정확도를 기록하지만, 전혀 등장하지 않은 쌍은 뿐만 아니라 빈도가 낮은 쌍은 40.2%에 불과함.
• 미세조정된 임베딩을 사용하는 모델은 희귀 어휘 쌍에서 성능이 뛰어나, 충분한 데이터가 있으면 어휘 지식을 학습할 수 있음을 시사함.
• 고정 임베딩을 사용하는 모델(예: 분해 가능 주의)은 임베딩 공간에서 유사도가 높은 단어 쌍에서 성능이 가장 열 劣함. 이는 의미적으로 유사하지만 모순되는 어휘 쌍을 다루는 데 어려움을 겪는다는 것을 의미함.
• WordNet 기반 KIM 모델은 다른 신경망 모델보다 뛰어난 성능을 보였지만 여전히 향상 여지가 있음을 보여, 어휘 지식의 커버리지 및 맥락적 적용에 한계가 있음을 시사함.
• MultiNLI를 훈련 데이터에 추가하면 SciTail을 추가하는 것보다 성능 향상이 더 크며, 이는 도메인 및 데이터 분포의 차이가 어휘 지식의 전이 가능성에 영향을 준다는 것을 시사함.