[논문 리뷰] Can neural networks understand monotonicity reasoning?

Hitomi Yanaka, Koji Mineshima외 5명|arXiv (Cornell University)|2019. 06. 15.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 자연어 추론(NLI)에서 단조성 추론을 평가하기 위한 대규모, 커뮤니티 기반 벤치마크인 단조성 함의 데이터셋(MED)을 소개한다. 최신 기술 모델들이 낮은 성능을 보이며 특히 내림내림 함의에서 어려움을 겪음에도 불구하고, 그 성능는 훈련 데이터 분포에 의해 크게 편향되어 있어 일반화 능력이 제한적이고 단조성 연산자 및 그 문법적 상호작용에 대한 이해가 부족하다는 것을 시사한다.

ABSTRACT

Monotonicity reasoning is one of the important reasoning skills for any intelligent natural language inference (NLI) model in that it requires the ability to capture the interaction between lexical and syntactic structures. Since no test set has been developed for monotonicity reasoning with wide coverage, it is still unclear whether neural models can perform monotonicity reasoning in a proper way. To investigate this issue, we introduce the Monotonicity Entailment Dataset (MED). Performance by state-of-the-art NLI models on the new test set is substantially worse, under 55%, especially on downward reasoning. In addition, analysis using a monotonicity-driven data augmentation method showed that these models might be limited in their generalization ability in upward and downward reasoning.

연구 동기 및 목표

• NLI에서 단조성 추론을 위한 종합적이고 고카버리지의 테스트 세트가 부족한 문제를 해결하기 위해.
• 신경망 모델이 어휘적 구조와 문법적 구조 간의 상호작용을 올바르게 이해할 수 있는지 평가하기 위해.
• NLI 모델이 상행과 하행 단조성 추론 간의 일반화 능력을 어떻게 갖추고 있는지 조사하기 위해.
• 훈련 데이터 구성이 단조성 함의 성능에 어떻게 영향을 미치는지 분석하기 위해.

제안 방법

• 4,856개의 단조성 함의 예제를 커뮤니티 기반 및 언어학 논문 기반으로 수집하여 MED 데이터셋을 구축하였다.
• 각 예제에 대해 단조성 연산자, 그 인수, 함의 방향(상행/하행)에 대한 언어학 태그를 부여하였다.
• SNLI와 MultiNLI에서 훈련된 최신 기술 NLI 모델들(BERT, RoBERTa 등)을 MED 테스트 세트에서 평가하였다.
• 단조성 기반 데이터 증강을 적용하여 합성된 상행/하행 함의 데이터로 모델을 훈련하고 성능 변화를 분석하였다.
• 어휘적 vs. 비어휘적 추론 문제에서의 성능 비교 및 다양한 단조성 연산자(예: few vs. a few)에 대한 성능 분석을 위한 분석 실험을 수행하였다.
• 일부 하행 함의가 인간에게 자연스럽게 수행됨을 검증하기 위해 인간 평가를 실시하여, 모델의 실패가 과제의 비합리성 때문이 아니라는 것을 확인하였다.

실험 결과

연구 질문

• RQ1 신경망 NLI 모델은 특히 하행 함의 맥락에서 단조성 추론을 올바르게 수행할 수 있는가?
• RQ2 훈련 데이터 구성(상행 대비 하행 함의)이 단조성 추론 성능에 어떻게 영향을 미치는가?
• RQ3 모델은 단조성 방향 간에 일반화되는가, 아니면 훈련 데이터의 주로 다루는 방향에 편향되어 있는가?
• RQ4 모델은 'few'(하행)와 'a few'(상행)와 같은 하행 연산자와 구분할 수 있는가?
• RQ5 기본적인 추론 기술임에도 불구하고 하행 단조성 추론에서 성능이 떨어지는 이유는 무엇인가?

주요 결과

• 모든 최신 기술 NLI 모델이 MED 테스트 세트에서 낮은 성능을 보였으며, 전체 정확도는 55% 이하에 머물렀다. 특히 하행 함의에서 뚜렷한 낮은 성능을 보였다.
• 모델은 하행 어휘적 추론 문제에서 46.1%의 정확도를 기록했고, 비어휘적 하행 문제에서는 단지 18.8%에 그쳤다. 이는 비어휘적 하행 추론에서의 심각한 어려움을 시사한다.
• BERT는 'few'(하행)와 'a few'(상행)를 구분하지 못했으며, 동일한 예제의 변형된 상행 및 하행 형태에 대해 동일한 예측을 내놓았다.
• 단지 상행 함의 데이터로 훈련된 모델은 하행 함의에서 성능이 떨어졌고, 반대로 하행 함의로 훈련된 모델도 상행 함의에서 성능이 떨어졌다. 이는 성능가 훈련 데이터 방향에 의해 지배된다는 것을 보여준다.
• 394개의 문제 중 모든 모델이 실패한 문제 중 244개는 비어휘적 문제였으며, 이는 비어휘적 하행 추론이 특히 도전적인 문제임을 시사한다.
• MultiNLI 훈련 세트에는 단지 77개의 하행 함의 문제만 포함되어 있으며, 자연어 텍스트에서의 구실적 요인들이 하행 함의를 억제함으로써 데이터 부족 현상이 악화되고 있다.