[논문 리뷰] Probing Neural Network Comprehension of Natural Language Arguments

Timothy Niven, Hung‐Yu Kao|arXiv (Cornell University)|2019. 07. 17.

Topic Modeling참고 문헌 27인용 수 34

한 줄 요약

본 논문은 BERT의 ARCT 성능이 주로 속임수 단서를 활용한 결과임을 보이고, 모델이 무작위로 수행하는 적대적 데이터셋을 도입해 강건한 평가 표준의 필요성을 주장한다.

ABSTRACT

We are surprised to find that BERT's peak performance of 77% on the Argument Reasoning Comprehension Task reaches just three points below the average untrained human baseline. However, we show that this result is entirely accounted for by exploitation of spurious statistical cues in the dataset. We analyze the nature of these cues and demonstrate that a range of models all exploit them. This analysis informs the construction of an adversarial dataset on which all models achieve random accuracy. Our adversarial dataset provides a more robust assessment of argument comprehension and should be adopted as the standard in future work.

연구 동기 및 목표

• ARCT에서 데이터셋의 인공 요소를 넘어 BERT 및 다른 모델이 실제로 자연어 주장들을 이해하는지 평가한다.
• 모델이 ARCT에서 활용하는 속임수 통계 단서를 식별하고 정량화한다.
• 향후 연구를 위한 강건한 평가와 기준점을 제공하기 위해 적대적 데이터셋을 개발한다.

제안 방법

• ARCT에서 기본 모델들(BoV, BiLSTM, GIST, Botschen 등)과 BERT를 재현하고 확장한다.
• 주장의 정당화에서 모델의 의사결정을 조사하여 어휘적 단서에 의존하는지 확인한다(예: 단어 'not').
• 데이터 전반에서 단서의 유용성을 정량화하기 위해 생산성(productivity)와 포괄도(coverage) 같은 단서 지표를 정의한다.
• 주장을 부정하고 라벨을 뒤집어 신호 분포를 반영하는 적대적 ARCT 데이터셋을 생성한다.
• 적대적 데이터에서 모델을 평가하여 단서를 넘어선 진정한 주장 이해력을 측정한다.

실험 결과

연구 질문

• RQ1 최신 모델들, 특히 BERT가 ARCT에서 진정한 주장 이해보다는 속임수 단서에 의존하는가?
• RQ2 적대적 데이터 변환이 단서 기반의 성능을 제거하고 진정한 추론 능력을 드러낼 수 있는가?
• RQ3 통계적 단서가 레이블 간에 균형을 맞추거나 반영될 때 서로 다른 모델 아키텍처의 성능은 어떠한가?
• RQ4 ARCT에서 모델 강건성을 위해 적대적 데이터로의 학습이 미치는 영향은 무엇인가?

주요 결과

• BERT의 최고 77% 정확도는 실제 이해가 아니라 데이터셋 단서를 활용한 결과로 크게 설명된다.
• 프로빙 결과 정당화만으로 최대 71% 정확도이며, 추가적인 이유/주장 단서가 남은 이득을 설명한다.
• 라벨 주변의 단서 분포를 반영하는 적대적 데이터셋은 BERT 성능을 무작위(최대 53%)으로 감소시킨다.
• 모델 전반에서 원래 데이터에 대한 성능이 적대적 데이터에서 무작위에 근접한 수준으로 저하되어, 속임수 단서에 의존하고 있음을 시사한다.
• 적대적 학습 및 평가를 통해 현재 모델들이 강건한 주장 이해력을 실현하지 못하고 있음을 드러낸다.