[논문 리뷰] Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?

Hitomi Yanaka, Koji Mineshima외 2명|arXiv (Cornell University)|2020. 04. 30.

Natural Language Processing Techniques참고 문헌 40인용 수 5

한 줄 요약

이 논문은 신경망 모델이 단조성 추론에서 체계적인 일반화를 학습하는지 평가한다 — 특히 기호, 술어, 임베딩된 절의 조합에서 예측된 바 없는 조합에 대해 함의 관계를 추론할 수 있는 능력이다. 문법적 및 의미적 변형을 통제한 합성 데이터셋을 사용하여, 모델들은 테스트 문장의 구조가 훈련 데이터와 유사할 경우에만 일반화됨을 발견하였고, 구조적 변화가 약간 있을 뿐이어도 실패함을 확인하였으며, 이는 순수 기억에 의존하는 제한된 조합 일반화 능력을 시사한다.

ABSTRACT

Despite the success of language models using neural networks, it remains unclear to what extent neural models have the generalization ability to perform inferences. In this paper, we introduce a method for evaluating whether neural models can learn systematicity of monotonicity inference in natural language, namely, the regularity for performing arbitrary inferences with generalization on composition. We consider four aspects of monotonicity inferences and test whether the models can systematically interpret lexical and logical phenomena on different training/test splits. A series of experiments show that three neural models systematically draw inferences on unseen combinations of lexical and logical phenomena when the syntactic structures of the sentences are similar between the training and test sets. However, the performance of the models significantly decreases when the structures are slightly changed in the test set while retaining all vocabularies and constituents already appearing in the training set. This indicates that the generalization ability of neural models is limited to cases where the syntactic structures are nearly the same as those in the training set.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 자연어에서 단조성 추론 패턴을 체계적으로 일반화할 수 있는지 조사하기 위해.
• 모델이 양사, 술어, 임베딩된 절의 조합에서 예측된 바 없는 조합으로 일반화할 수 있는 능력을 평가하기 위해.
• 일반화 실패에서 문법적 구조의 역할을 어휘적 및 의미적 변형과 분리하여 고찰하기 위해.
• 예를 들어 BERT와 같은 모델의 성능을 합성 데이터와 MultiNLI와 같은 대규모 NLI 데이터셋에서 훈련한 결과와 비교하기 위해.
• 합성 단조성 데이터에서 미리 훈련한 후 표준 벤치마크에서 성능이 손상되지 않으면서 일반화 능력이 향상되는지 확인하기 위해.

제안 방법

• 단조성 추론을 테스트하기 위해 기호, 술어, 임베딩된 절의 깊이에서 체계적인 변형을 가진 통제된 데이터셋을 생성하였다.
• 네 가지 평가 축을 설계: 술어 교체의 체계성, 기호의 임베딩, 문장 깊이에 따른 생산성, 국소성.
• 세 개의 신경망 모델(예: BERT 포함)을 통제된 훈련/테스트 분할로 합성 데이터에서 훈련하였고, 유일하게 문법적 구조만 변화시켰다.
• 훈련 데이터에 존재하는 어휘와 구성요소는 그대로지만 문법적 구조가 다른 조합에서 테스트하여 일반화 능력을 평가하였다.
• MultiNLI와 합성 데이터를 혼합하여 실제 세계 추론 패턴과 합성 추론 패턴 간의 성능 상충 관계를 평가하였다.
• 주요 과제로 함의 예측을 사용하였고, 새로운 문법적 구성에서의 정확도를 측정하였다.

실험 결과

연구 질문

• RQ1 문법적 구조가 유지되는 한, 신경망 모델은 예측된 바 없는 기호와 술어의 조합에 대해 단조성 추론을 체계적으로 일반화할 수 있는가?
• RQ2 훈련 문장과 동일한 어휘와 구성요소를 사용하더라도, 테스트 문장의 문법적 구조가 약간 다를 경우 성능은 어떻게 저하되는가?
• RQ3 훈련 데이터에서 얕은 수준의 임베딩 절(예: 깊이 2 vs. 깊이 3)을 사용할 경우, 모델은 얼마나 깊은 수준의 임베딩 절로 일반화할 수 있는가?
• RQ4 합성 단조성 데이터에서 미리 훈련한 후, 표준 NLI 벤치마크(예: MultiNLI)에서 성능이 손상되지 않으면서 일반화 능력이 향상되는가?
• RQ5 특히 하향 함의 상황에서, 모델들은 구성적 추론이 아닌 표면 수준의 힌트에 의존하고 있는가?

주요 결과

• 모델들은 테스트 문장의 문법적 구조가 훈련 데이터와 유사할 경우에만 체계적인 일반화를 보였고, 구조적 변화가 약간 있을 뿐이어도 실패함을 확인하였다.
• 구성요소 순서나 절의 임베딩 깊이가 다를 경우, 어휘와 구성요소는 동일하더라도 성능이 크게 저하됨을 확인하였다.
• 모델 중 어느 것도 훈련 데이터보다 한 단계 더 깊은 수준의 임베딩 절로 일반화하지 못하였으며, 이는 생산성 일반화 능력이 떨어짐을 시사한다.
• 합성 단조성 데이터에서 미세조정한 BERT는 합성 테스트 세트에서 성능 향상을 보였고, MultiNLI에서도 정확도를 유지함을 확인하여 이중 능력을 보였다.
• MultiNLI에서 모델은 힌트에 따라 편향된 행동을 보였고, 특히 하향 함의 상황에서, 전제가 함의하지 않는 더 긴 가설 문장에 대해서도 함의를 예측하는 오류를 보였다.
• 결과적으로 현재의 DNN 기반 모델들은 진정한 추론적 체계적 일반화를 학습하지 못하고 있으며, 기억 또는 표면 패턴에 의존하고 있음을 시사한다.