[논문 리뷰] Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets

Chuanrong Li, Lin Shengshuo외 4명|arXiv (Cornell University)|2020. 10. 16.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 의미-형태 이론 기반의 어휘구조론(ERG)을 사용하여 NLP 모델의 대비 셋을 자동으로 생성하는 언어학적 지식 기반 변환(Linguistically-Informed Transformations, LIT)을 제안한다. 이 방법은 대비 셋을 생성함으로써 모델의 견고성에 대한 미세한 진단을 가능하게 하며, BERT와 RoBERTa가 단순한 언어 현상에 대해 체계적인 실패를 보이는 것을 드러내고, 분포 내 성능을 해치지 않으면서 데이터 증강을 통해 모델의 일반화 능력을 향상시킨다.

ABSTRACT

Although large-scale pretrained language models, such as BERT and RoBERTa, have achieved superhuman performance on in-distribution test sets, their performance suffers on out-of-distribution test sets (e.g., on contrast sets). Building contrast sets often re-quires human-expert annotation, which is expensive and hard to create on a large scale. In this work, we propose a Linguistically-Informed Transformation (LIT) method to automatically generate contrast sets, which enables practitioners to explore linguistic phenomena of interests as well as compose different phenomena. Experimenting with our method on SNLI and MNLI shows that current pretrained language models, although being claimed to contain sufficient linguistic knowledge, struggle on our automatically generated contrast sets. Furthermore, we improve models' performance on the contrast sets by apply-ing LIT to augment the training data, without affecting performance on the original data.

연구 동기 및 목표

• 분포 내 성능 이외의 NLP 모델 견고성 평가를 위한 대규모 고품질 대비 셋의 부족 문제를 해결하기 위해.
• NLP에서 인간 애너테이션을 통한 대비 셋의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 시제 불일치, 피동어 변환, 모odal 성격 등의 특정 언어 현상에서의 모델 실패를 미세하게 분석할 수 있도록 하기 위해.
• 언어학적 지식 기반 변환을 통해 훈련 데이터를 증강함으로써 모델의 일반화 능력을 향상시키기 위해.
• 기존의 데이터 기반 NLP 모델의 평가 및 향상에 있어 전통적인 언어학 지식의 중요성이 여전히 유지됨을 입증하기 위해.

제안 방법

• LIT는 의미-형태 이론 기반의 ERG 문법을 사용하여 입력 문장을 분석하고 변환에 적합한 언어 현상을 식별한다.
• 문법에서 유도된 문법적 및 의미적 규칙에 기반해 사전 정의된 언어학적 변환(예: 시제 이동, 피동어 변환, it-clefting 등)을 적용한다.
• 변환은 문법적 구조를 유지하면서 의미나 레이블을 변경함으로써 최소한의 변형을 보장하는 방식으로 체계적으로 적용된다.
• 단일 예시에 여러 변환을 조합함으로써 복합적 일반화를 가능하게 하여 복잡한 진단 시나리오를 지원한다.
• 각 입력에 대해 다수의 변환 변형을 생성함으로써 모델 행동에 대한 다양한 제어 가능한 평가가 가능하다.
• SNLI 및 MNLI 데이터셋에 적용되었으며, 인간 평가를 통해 생성된 대비 셋의 고품질을 확인했다.

실험 결과

연구 질문

• RQ1 언어학적 지식 기반의 자동 변환 방법이, 기존 벤치마크가 드러내지 못한 모델의 약점을 드러내는 고품질의 대비 셋을 생성할 수 있는가?
• RQ2 BERT 및 RoBERTa와 같은 최신 NLP 모델이 LIT를 통해 생성된 대비 셋에서, 특히 단순하고 복합적인 언어적 변형에 대해 어떻게 성능을 내는가?
• RQ3 LIT를 통한 데이터 증강이 분포 외 테스트 세트에서의 모델 견고성 향상에 얼마나 기여할 수 있으며, 분포 내 성능을 저하시키지 않는가?
• RQ4 SNLI 및 MNLI와 같은 기존 NLI 데이터셋에서 어떤 언어 현상이 부족하게 포함되어 있으며, 이는 모델의 일반화에 어떤 영향을 미치는가?
• RQ5 LIT로 증강된 데이터로 미세조정을 거친 후, 복합적 일반화 작업에서의 성능 향상을 통해 언어학적 변환 패턴을 체계적으로 이해하게 되는가?

주요 결과

• BERT와 RoBERTa가 단순한 변환(예: 시제 불일치)에 대해서조차 LIT로 생성된 대비 셋에서 성능이 크게 하락함을 확인하여, 기본적인 언어적 변형에 대한 견고성이 떨어지는 것으로 나타났다.
• LIT로 증강된 데이터로 미세조정한 모델은 원래의 분포 내 데이터에서 정확도를 유지하면서도 분포 외 테스트 세트에서 성능 향상을 보였다.
• RoBERTa가 단순한 변환에 대해 미세조정을 거친 후 복합적 변환(예: 피동어 변환과 미래 시제의 조합)에 대해 강력한 제로샷 성능을 기록함으로써, 변환 패턴을 체계적으로 학습한 것으로 나타났다.
• 인간 평가를 통해 LIT로 생성된 대비 셋이 높은 품질을 가지며 의미적·문법적 유사성과 정확한 레이블 변경을 보임을 확인했다.
• SNLI 및 MNLI 분석 결과, 심각한 데이터 편향이 존재함을 확인: MNLI 문장 중 2.95%만 미래 시제이며, 수동어-미래 시제 또는 미래 시제-수동어 쌍이 전혀 존재하지 않아 이러한 변환에서의 모델 실패를 설명할 수 있었다.
• 메서드는 약 20%의 SNLI 인스턴스를 성공적으로 변환하였으며, 이는 문법 분석 성공률에 의해 제한되었지만, 언어학 지식을 데이터 증강에 통합하는 데 있어 개념 증명이 성공적으로 이루어졌음을 보여주었다.