[논문 리뷰] Detecting and Exorcising Statistical Demons from Language Models with Anti-Models of Negative Data

Michael Wick, Kate Silverstein외 3명|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 긍정적인 학습 데이터에서 유도된 부정적인 데이터 분포를 기반으로 한 반모델(anti-models)을 훈련시켜 신경어휘모델 내의 해로운 통계적 편향—'통계적 악마'(statistical demons)—를 탐지하고 완화하는 방법을 제안한다. 부드럽게 처리하지 않은 n-gram 모델을 사용해 부정적인 학습 예제를 생성함으로써, 모델은 유사한 n-gram 패턴에 의존하는 것의 의존도를 줄이고 문법적 일반화 능력을 향상시킨다. 이 방법은 LSTMs와 GPT-2에서 어려운 주어-동사 일치 작업에서 최대 46%의 오차 감소를 달성한다.

ABSTRACT

It's been said that "Language Models are Unsupervised Multitask Learners." Indeed, self-supervised language models trained on "positive" examples of English text generalize in desirable ways to many natural language tasks. But if such models can stray so far from an initial self-supervision objective, a wayward model might generalize in undesirable ways too, say to nonsensical "negative" examples of unnatural language. A key question in this work is: do language models trained on (positive) training data also generalize to (negative) test data? We use this question as a contrivance to assess the extent to which language models learn undesirable properties of text, such as n-grams, that might interfere with the learning of more desirable properties of text, such as syntax. We find that within a model family, as the number of parameters, training epochs, and data set size increase, so does a model's ability to generalize to negative n-gram data, indicating standard self-supervision generalizes too far. We propose a form of inductive bias that attenuates such undesirable signals with negative data distributions automatically learned from positive data. We apply the method to remove n-gram signals from LSTMs and find that doing so causes them to favor syntactic signals, as demonstrated by large error reductions (up to 46% on the hardest cases) on a syntactic subject-verb agreement task.

연구 동기 및 목표

• 긍정적인 데이터로 훈련된 언어 모델이 불법적 또는 통계적으로 편향된 시퀀스와 같은 바람직하지 않은 '부정적' 데이터로도 일반화되는지 여부를 조사하는 것.
• 자기지도 학습 언어 모델이 문법적 구조 대신 유사한 n-gram 패턴을 얼마나 많이 학습하는지 식별하고 정량화하는 것.
• 자동으로 학습된 부정적 데이터 분포를 기반으로 하여 이러한 바람직하지 않은 통계적 신호를 탐지하고 약화시키는 방법을 개발하는 것.
• 이러한 신호를 제거함으로써 모델이 언어적으로 의미 있는 표현, 특히 문법적 구조를 학습하는 데에 얼마나 더 잘 기능하는지 평가하는 것.

제안 방법

• 공통적인 n-gram 패턴을 탐지하기 위한 목적의, 동일한 긍정적 학습 데이터에 대해 부드럽게 처리하지 않은 삼중어 모델을 훈련한다.
• 이 삼중어 모델을 사용해 불법적 또는 통계적으로 편향된 시퀀스인 '부정적' 데이터를 생성한다. 이러한 데이터는 주로 주요 모델이 과적합할 수 있는 바람직하지 않은 패턴을 반영한다.
• 주요 모델(LSTM 또는 GPT-2 등)의 테스트 중에 이러한 부정적 시퀀스에 대해 높은 확률을 부여하는 것을 방지하기 위해 정규화 항을 도입한다.
• 감쇠 강도를 제어하기 위해 하이퍼파라미터 α를 도입함으로써, n-gram 편향 감소와 긍정적 데이터에서의 성능 유지 사이의 트레이드오프를 가능하게 한다.
• Marvin & Linzen의 데이터와 같은 표준 벤치마크를 사용해 문법 탐색 작업, 특히 주어-동사 일치 작업에서 방법을 평가한다.
• 일반화 능력과 편향 완화 정도를 평가하기 위해, 긍정적 및 부정적 개발 세트에서의 음의 로그 가능도(NLL)를 측정한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 언어 모델이 불법적 또는 통계적으로 편향된 부정적 데이터로 일반화되는 정도는 어느 정도인가?
• RQ2 모델 크기, 학습 데이터 크기, 학습 에포크 수를 늘릴 경우, 모델이 유사한 n-gram 패턴에 의존하는 경향이 어떻게 변화하는가?
• RQ3 긍정적인 데이터에서 자동으로 부정적 데이터 분포를 학습시켜, 바람직하지 않은 통계적 편향을 탐지하고 완화하는 신호로 활용할 수 있는가?
• RQ4 부정적 데이터를 통해 n-gram 신호를 감쇠시키면, 모델의 문법적 일반화 능력이 향상되는가?
• RQ5 장거리 문법 일반화 능력 향상과 짧은 거리 의존성에서의 성능 저하 사이의 트레이드오프는 어떠한가?

주요 결과

• 삼중어 감쇠를 통한 미세조정은 장거리 문법적 의존성에서 성능을 크게 향상시켰으며, 가장 어려운 주어-동사 일치 케이스에서 최대 46%의 상대 오차 감소를 기록했다.
• 모델의 n-gram 패턴에 대한 의존도가 감소했다: α가 높아질수록 부정적 개발 세트의 퍼플렉서티가 증가하여, 불법적 시퀀스에 대해 높은 확률을 부여할 가능성이 줄어들었다.
• 주어가 상대절을 끼고 있는 구조에서, α=1일 때 모델은 95%의 정확도(NLL 0.95)를 달성했으며, 베이스라인 GPT-2 점수인 0.72를 초월했다.
• 반사적 대명사 및 부정성 조건어의 경우, 복잡하고 장거리 케이스에서 성능 향상이 있었으며, α=8일 때 '상대절을 끼고 있는 경우(RA)'의 NLL 점수는 0.76에서 0.79로, '상대절을 끼고 있는 경우(NPI)'의 NLL 점수는 0.83에서 0.94로 상승했다.
• 짧은 거리 의존성, 예를 들어 '목적어 상대절'의 경우, α가 증가할수록 성능이 저하되었으며, 이는 장거리와 짧은 거리 일반화 사이의 트레이드오프를 시사한다.
• 이 방법은 통계적 잡음이 학습 데이터에서 매우 예측 가능할지라도, 모델이 문법적 일반화 방향으로 유도될 수 있음을 입증했다.