[논문 리뷰] Analyzing Compositionality-Sensitivity of NLI Models

Yixin Nie, Yicheng Wang외 1명|arXiv (Cornell University)|2018. 11. 16.

Topic Modeling참고 문헌 20인용 수 8

한 줄 요약

이 논문은 자연어 추론(NLI) 모델이 어휘적 특징을 초월해 구성성 원리로 추론하는 능력을 평가하기 위해 구성성 민감도 테스트 설정을 제안한다. bag-of-words 모델이 잘못된 레이블을 높은 확률로 예측하는 예제를 선별함으로써 구성성 이해를 고립시키며, 최신 모델들—표준 벤치마크에서 높은 성능을 보임에도 불구하고—일관되게 구성성 의미를 활용하지 못함을 드러낸다. 성능은 아키텍처에 따라 크게 달라지며, 예를 들어 트리 기반 모델이 RNN 기반 또는 bag-of-words 모델보다 뛰어나다.

ABSTRACT

Success in natural language inference (NLI) should require a model to understand both lexical and compositional semantics. However, through adversarial evaluation, we find that several state-of-the-art models with diverse architectures are over-relying on the former and fail to use the latter. Further, this compositionality unawareness is not reflected via standard evaluation on current datasets. We show that removing RNNs in existing models or shuffling input words during training does not induce large performance loss despite the explicit removal of compositional information. Therefore, we propose a compositionality-sensitivity testing setup that analyzes models on natural examples from existing datasets that cannot be solved via lexical features alone (i.e., on which a bag-of-words model gives a high probability to one wrong label), hence revealing the models' actual compositionality awareness. We show that this setup not only highlights the limited compositional ability of current NLI models, but also differentiates model performance based on design, e.g., separating shallow bag-of-words models from deeper, linguistically-grounded tree-based models. Our evaluation setup is an important analysis tool: complementing currently existing adversarial and linguistically driven diagnostic evaluations, and exposing opportunities for future work on evaluating models' compositional understanding.

연구 동기 및 목표

• 표준 벤치마크에서 높은 성능을 보임에도 불구하고 최신 NLI 모델의 제한된 구성성 이해를 드러내기 위해.
• 표준 평가 및 기존의 대조적 설정이 모델의 어휘적 특징에 대한 과도한 의존성을 탐지하지 못함을 보여주기 위해.
• 기존 데이터셋에서 자연스러운 예제를 활용해 구성성 추론을 고립시키는 강력하고 일반화 가능한 평가 방법을 개발하기 위해.
• 특히 문법적 및 구성성 구조에 대한 민감도 측면에서 아키텍처 설계에 따라 모델 성능을 구분하기 위해.
• 특정 언어 현상이나 대조적 변형에 초점을 맞추는 기존 진단 평가를 보완하기 위해 구성성 의미를 중심으로 평가하기 위해.

제안 방법

• bag-of-words 모델이 잘못된 레이블에 높은 확률을 부여하는 SNLI 및 MNLI 데이터셋의 예제를 식별하여, 정확한 분류에 구성성 구조가 필요함을 나타내도록 한다.
• 이러한 예제를 구성성 민감도(CS) 평가 세트로 사용하여 모델의 구성성 의미 활용 능력을 테스트한다.
• RNN을 완전 연결층으로 교체하는 등의 수정된 아키텍처로 모델을 훈련 및 평가하고, 입력 단어를 무작위로 재배열하는 데이터 증강 기법을 통해 구성성 인식 능력을 평가한다.
• 표준 벤치마크(SNLI/MNLI)와 CS 평가 세트에서의 모델 성능을 비교하여 구성성 구조에 대한 민감도를 측정한다.
• LMS(어휘적 오도 점수) 지표를 사용하여 어휘적 특징만으로 bag-of-words 모델이 잘못된 방향으로 유도되는 예제를 걸러내기 위해 사용한다.
• 대조적 평가를 적용하여 한 유형의 구성성 변형에서의 성공이 다른 유형의 구성성 변형에 대해 일반화되지 않음을 보여주며, 특정 패턴에 과도하게 피팅된 상태임을 시사한다.

실험 결과

연구 질문

• RQ1 최신 NLI 모델들이 구성성 의미보다 어휘적 특징에 얼마나 의존하는가?
• RQ2 표준 평가 및 기존의 대조적 설정이 모델의 구성성 이해 부족을 신뢰성 있게 탐지할 수 있는가?
• RQ3 모델 아키텍처(예: RNN, 트리 기반, 완전 연결층)가 구성성 구조에 대한 민감도에 어떻게 영향을 미치는가?
• RQ4 기존 NLI 데이터셋의 필터링된 서브셋을 사용해 구성성 추론을 위한 강력하고 일반적인 평가를 만들 수 있는가?
• RQ5 언어 진단 데이터셋에서의 성공은 진정한 구성성 이해와 관련이 있는가, 아니면 모델이 어휘적 단서를 악용할 수 있는가?

주요 결과

• 일곱 개의 최신 NLI 모델은 표준 SNLI 및 MNLI 벤치마크에서 높은 성능를 보이지만, 구성성 민감도(CS) 테스트에선 실패하며, 이는 구성성 이해가 열악함을 시사한다.
• RNN의 연결을 끊거나 입력 단어를 무작위로 재배열한 훈련 데이터를 사용한 모델들도 여전히 표준 벤치마크에서 높은 성능를 달성함으로써, 표준 평가가 구성성 접근 능력 상실을 탐지하지 못함을 증명한다.
• bag-of-words 유사 모델은 순차적 또는 트리 기반 모델보다 CS 테스트에서 유의미하게 떨어지며, 이는 아키텍처 설계가 구성성 민감도와 관련이 있음을 보여준다.
• CS 평가 설정은 구성성 의미 처리 능력에 따라 모델을 효과적으로 구분하며, 트리 기반 모델이 RNN 기반 및 완전 연결 모델보다 뛰어나다.
• 대조적 평가는 범위가 제한되어 있으며 일반화되지 않는다: 한 유형의 대조적 예제에서의 성공이 다른 구성성 변형에 대한 강건성을 의미하지는 않는다.
• LMS 점수는 bag-of-words 모델이 어휘적 특징만으로 잘못된 방향으로 이끌리는 예제를 효과적으로 식별하며, 구성성 추론에 대한 타겟팅 테스트를 가능하게 한다.