[논문 리뷰] Diversify Your Datasets: Analyzing Generalization via Controlled Variance in Adversarial Datasets

Ohad Rozen, Vered Shwartz외 2명|arXiv (Cornell University)|2019. 10. 21.

Machine Learning in Materials Science참고 문헌 25인용 수 4

한 줄 요약

이 논문은 NLP 모델이 특정 악성 데이터셋에 과적합되는 것이 아니라, 대사 변화와 수치 추론과 같은 언어 현상에 대해 일반화하는지 평가하기 위해 통제된 분산 방법을 제안한다. 학습 및 테스트 세트에서 문법적 복잡성과 어휘 다양성(예: 숫자 범위)을 체계적으로 변화시킴으로써, 저자들은 BERT 기반 모델이 다양한 문법적 구조나 숫자 범위 간에 일반화하지 못함을 보여주며, 데이터셋의 눈치를 피할 수 없는 모델의 내재된 약점을 드러낸다.

ABSTRACT

Phenomenon-specific "adversarial" datasets have been recently designed to perform targeted stress-tests for particular inference types. Recent work (Liu et al., 2019a) proposed that such datasets can be utilized for training NLI and other types of models, often allowing to learn the phenomenon in focus and improve on the challenge dataset, indicating a "blind spot" in the original training data. Yet, although a model can improve in such a training process, it might still be vulnerable to other challenge datasets targeting the same phenomenon but drawn from a different distribution, such as having a different syntactic complexity level. In this work, we extend this method to drive conclusions about a model's ability to learn and generalize a target phenomenon rather than to "learn" a dataset, by controlling additional aspects in the adversarial datasets. We demonstrate our approach on two inference phenomena - dative alternation and numerical reasoning, elaborating, and in some cases contradicting, the results of Liu et al.. Our methodology enables building better challenge datasets for creating more robust models, and may yield better model understanding and subsequent overarching improvements.

연구 동기 및 목표

• 신경망 NLP 모델이 특정 악성 데이터셋에 과적합되는 것이 아니라 언어 현상에 대해 일반화하는지 평가하는 것.
• Liu 등(2019a)의 인oculation 방법론을 확장하여 문법적 복잡성과 어휘 다양성과 같은 언어 차원에서의 분산을 통제하는 것.
• 도전 과제 데이터셋에서의 모델 성능 향상이 진정으로 현상 자체를 학습한 결과인지, 아니면 분포별 기억에 기인한 것인지 판단하는 것.
• 특정 추론 현상에 대해 더 견고하고 일반화 가능한 학습 데이터를 설계하는 데 도움을 주는 것.
• 특정 현상에 대해 특화된 데이터로 미세조정을 거친 후에도 지속되는 내재된 모델의 약점을 식별하는 것.

제안 방법

• 저자들은 문법적 복잡성과 어휘 다양성(예: 숫자 범위)과 같은 언어 차원에서의 분산을 제어하는 템플릿 기반 방법을 사용해 합성 악성 데이터셋을 생성한다.
• 그들은 통제된 분산을 가진 학습 세트에서 BERT 기반 NLI 모델을 미세조정하고, 다른 분포에서 유래한 테스트 세트에서 성능을 평가한다.
• 대사 변화의 경우, 의미적 내용을 유지하면서 문법적 구조(예: 이중 목적어 대신 전치구문 구조)를 변화시킨다.
• 수치 추론의 경우, 문법은 동일하게 유지하면서 산술 비교에 사용되는 숫자의 범위(예: 30–49, 60–79, 200–299)를 변화시킨다.
• 성능는 다양한 분포를 가진 테스트 세트에서의 정확도로 측정되어, 문법적 및 어휘적 차원 간의 일반화 능력을 평가한다.
• 이 방법은 분포 이동으로 인한 일반화 실패와 모델의 인도크티브 바이어스로 인한 실패를 분리하는 데 기여한다.

실험 결과

연구 질문

• RQ1 대사 변화를 위한 악성 데이터셋으로 훈련된 NLP 모델은 문법적 복잡성에 대해 일반화할 수 있는가?
• RQ2 수치 추론에서 모델의 성능은 다양한 숫자 범위로 일반화되는가, 아니면 훈련 시 사용된 범위에 국한되는가?
• RQ3 도전 과제 데이터셋에서의 성공적인 미세조정이 진정한 현상 학습을 의미하는지, 아니면 분포별 패턴의 기억에 기인한 것인지 어느 정도인지?
• RQ4 문법, 어휘 다양성과 같은 언어 차원의 통제된 변화가 모델의 일반화 한계를 어떻게 드러내는가?
• RQ5 만약 모델이 다양한 데이터 분포 간에 일반화하지 못한다면, 인oculation 접근법이 잘못된 해석을 유도할 수 있는가?

주요 결과

• 대사 변화에서 모델은 문법적 복잡성에 대해 일반화하는 데 상당한 어려움을 보이며, 안정적인 성능을 얻기 위해 다양한 문법적 구조에 대해 광범위하게 훈련이 필요하다.
• 훈련 과정에서 관찰하지 못한 더 복잡한 문법적 구조로 테스트할 경우 성능이 최대 3.2% 하락함으로써, 문법적 다양성 간의 일반화 능력이 열악함을 시사한다.
• 수치 추론의 경우, 모델은 다양한 숫자 범위 간에 일반화하지 못하며, 20,000개의 훈련 예제를 거쳐도 분포 외 범위에서 정확도가 70% 미만에 머무름.
• 동일한 숫자 범위를 훈련 및 테스트에서 사용할 경우 성능가 훨씬 높게 나타나, 산술 규칙을 학습하기보다는 특정 숫자 조합을 기억하고 있음을 시사한다.
• 결과는 원래의 인oculation 분석과 정면으로 배치되며, 단일 도전 과제 데이터셋에서의 성공이 진정한 일반화를 반영하지 못하고 오히려 데이터셋 기반 과적합일 수 있음을 시사한다.
• 이 연구는 다양한 숫자 범위에서 수치 추론을 처리하는 데 있어 모델의 내재된 약점을 드러내며, 견고한 NLI 시스템에 있어 중요한 한계를 강조한다.