[논문 리뷰] Demystifying Neural Language Models' Insensitivity to Word-Order

Louis Clouâtre, Prasanna Parthasarathi외 2명|arXiv (Cornell University)|2021. 07. 29.

Topic Modeling참고 문헌 67인용 수 4

한 줄 요약

이 논문은 텍스트 내 국소적이고 전반적인 어순 변화를 정량화하기 위해 두 가지 새로운 지표인 직접 이웃 이탈도(Direct Neighbour Displacement, DND)와 인덱스 이탈 횟수(Index Displacement Count, IDC)를 도입한다. 이는 신경망 언어 모델이 전반적인 재배열보다 국소적 토큰 순서에 더 의존하고 있음을 드러낸다. 연구는 심지어 최신 기술인 트랜스포머, LSTMs, CNNs와 같은 모델들조차도 국소적 순서 변화에 대해 전반적 재배열보다 훨씬 더 민감하다는 점을 입증하며, 이러한 모델들이 문법적 민감도를 갖춘다는 기존의 가정에 도전한다.

ABSTRACT

Recent research analyzing the sensitivity of natural language understanding models to word-order perturbations have shown that the state-of-the-art models in several language tasks may have a unique way to understand the text that could seldom be explained with conventional syntax and semantics. In this paper, we investigate the insensitivity of natural language models to word-order by quantifying perturbations and analysing their effect on neural models' performance on language understanding tasks in GLUE benchmark. Towards that end, we propose two metrics - the Direct Neighbour Displacement (DND) and the Index Displacement Count (IDC) - that score the local and global ordering of tokens in the perturbed texts and observe that perturbation functions found in prior literature affect only the global ordering while the local ordering remains relatively unperturbed. We propose perturbations at the granularity of sub-words and characters to study the correlation between DND, IDC and the performance of neural language models on natural language tasks. We find that neural language models - pretrained and non-pretrained Transformers, LSTMs, and Convolutional architectures - require local ordering more so than the global ordering of tokens. The proposed metrics and the suite of perturbations allow a systematic way to study the (in)sensitivity of neural language understanding models to varying degree of perturbations.

연구 동기 및 목표

• 최신 기술의 신경망 언어 모델이 자연어 이해 과제에서 어순 변화에 대해 민감도가 낮은 이유를 조사하기 위해.
• 새로운 세밀한 왜곡 기법을 사용하여 국소적 변화와 전반적 변화가 모델 성능에 미치는 영향을 정량화하기 위해.
• 텍스트 내 국소적(접근 토큰)과 전반적(전체 시퀀스) 순서 변화를 구분할 수 있는 지표를 개발하기 위해.
• 다양한 아키텍처—트랜스포머, LSTMs, CNNs—가 사전학습된 모델과 비사전학습 모델 모두에서 이러한 왜곡에 대해 얼마나 민감한지 평가하기 위해.
• 어순 조작 정도에 따라 다양하게 변하는 모델의 내성에 대한 체계적인 분석 프레임워크를 제공하기 위해.

제안 방법

• 접근 토큰 쌍의 변화를 측정하여 국소적 순서 변화를 포착하는 직접 이웃 이탈도(Direct Neighbour Displacement, DND) 지표를 제안한다.
• 각 토큰이 원래 위치에서 얼마나 떨어져 있는지를 측정하여 전반적 재배열을 정량화하는 인덱스 이탈 횟수(Index Displacement Count, IDC) 지표를 도입한다.
• 국소적 및 전반적 순서 변화를 세밀하게 제어할 수 있도록 서문자 및 문자 수준의 왜곡을 설계한다.
• GLUE 벤치마크 데이터셋에 이러한 왜곡을 적용하여 여러 NLP 과제에서 성능 저하를 평가한다.
• 사전학습된 모델과 비사전학습 모델을 포함한 다양한 모델—사전학습된 및 비사전학습된 트랜스포머, LSTMs, CNNs—를 제어된 왜곡 조건 하에서 훈련하고 평가한다.
• DND 및 IDC 점수와 성능 저하 간의 상관관계를 분석하여 국소적 순서 변화와 전반적 순서 변화에 대한 상대적 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 국소적 및 전반적 어순 변화가 신경망 언어 모델의 성능에 어떻게 다르게 영향을 미치는가?
• RQ2 최신 기술 모델들이 전반적 시퀀스 구조보다 국소적 토큰 순서에 얼마나 의존하는가?
• RQ3 서문자 및 문자 수준의 왜곡은 문장 수준 재배열로 드러나지 않는 모델 행동의 숨겨진 민감도를 드러낼 수 있는가?
• RQ4 DND 및 IDC 지표는 다양한 아키텍처와 과제에서 성능 저하와 어떻게 상관관계를 가지는가?
• RQ5 사전학습된 모델이 비사전학습 모델보다 어순 변화에 더 민감도가 낮은 편인가?

주요 결과

• 트랜스포머, LSTMs, CNNs를 포함한 신경망 언어 모델들은 DND와 IDC 측정 결과에 따라 전반적 재배열보다 국소적 순서 변화에 훨씬 더 민감하다.
• 기존 연구에서의 왜곡은 주로 전반적 순서 변화에 영향을 주지만 국소적 토큰 인접성은 유지하므로, 모델 성능에 관찰된 민감도 부족 현상이 이를 설명할 수 있다.
• 서문자 및 문자 수준의 왜곡을 통해 국소적 순서가 대규모 사전학습 모델의 이해에 핵심 신호임을 드러내었다.
• 제안된 DND 및 IDC 지표는 국소적 및 전반적 순서 변화를 효과적으로 포착하며 성능 저하와 강한 상관관계를 보였다.
• DND 점수를 높이는 왜곡 조건에서의 성능 저하는 IDC 점수를 높이는 조건보다 항상 더 심각했으며, 이는 국소적 구조에 대한 더 강한 의존성을 시사한다.
• 연구 결과는 현재 모델들이 문법적 또는 의미적 전반적 구조보다 국소적 순차적 패턴에 더 의존하고 있을 가능성이 있으며, 이는 모델의 문법적 이해 능력에 대한 기존의 가정에 도전한다.