[논문 리뷰] Syntactic Data Augmentation Increases Robustness to Inference Heuristics

Junghyun Min, R. Thomas McCoy외 3명|arXiv (Cornell University)|2020. 04. 24.

Topic Modeling참고 문헌 30인용 수 13

한 줄 요약

이 논문은 자연어 추론에서 문법적 추론 힌트에 대한 BERT의 취약성을 줄이기 위해 주어/목적어 역전을 통한 문법적 데이터 증강을 제안한다. 단지 405개의 문법적으로 변형된 예시만으로 MNLI 학습 세트를 증강했을 때, 단어 순서 민감도를 진단하는 HANS 챌린지 세트에서 모델의 정확도가 0.28에서 0.73으로 상승하였으며, 다른 문법 구조로의 일반화도 이루어져 '사용하지 못한 연결' 가설이 표현의 부족보다 더 타당함을 뒷받ány았다.

ABSTRACT

Pretrained neural models such as BERT, when fine-tuned to perform natural language inference (NLI), often show high accuracy on standard datasets, but display a surprising lack of sensitivity to word order on controlled challenge sets. We hypothesize that this issue is not primarily caused by the pretrained model's limitations, but rather by the paucity of crowdsourced NLI examples that might convey the importance of syntactic structure at the fine-tuning stage. We explore several methods to augment standard training sets with syntactically informative examples, generated by applying syntactic transformations to sentences from the MNLI corpus. The best-performing augmentation method, subject/object inversion, improved BERT's accuracy on controlled examples that diagnose sensitivity to word order from 0.28 to 0.73, without affecting performance on the MNLI test set. This improvement generalized beyond the particular construction used for data augmentation, suggesting that augmentation causes BERT to recruit abstract syntactic representations.

연구 동기 및 목표

• BERT가 문법적으로 도전적인 NLI 예제에서 열등한 성능을 보이는 이유가 피인식 학습 중에 문법적 구조에 노출되지 않았기 때문인지, 본질적인 표현 한계 때문인지 조사하기 위해.
• MNLI 학습 세트에 문법적으로 변형된 예시를 추가함으로써 BERT의 단어 순서 및 문법적 구조 민감도가 향상되는지 테스트하기 위해.
• 향상된 성능이 증강 과정에서 사용되지 않은 다른 문법적 구조로 일반화되는지 평가하여 '사용하지 못한 연결' 가설과 '표현의 부족' 가설을 구분하기 위해.
• 최소한의 타겟된 데이터 증강이 표준 벤치마크 성능을 떨어뜨리지 않고도 모델의 강건성을 크게 향상시킬 수 있는지 판단하기 위해.

제안 방법

• MNLI 문장의 일부에 대해 주로 주어/목적어 역전을 통한 문법적 변환을 생성하여 증강된 학습 예시를 만들었다.
• 기존 MNLI 예시와 새로 생성된 문법적으로 증강된 예시를 결합한 데이터셋으로 BERT를 피인식 학습시켰다.
• 모델의 단어 순서 및 문법적 구조 민감도를 진단하기 위해 통제된 HANS 챌린지 세트 예시를 사용했다.
• 어휘 겹침, 부분수열, 구성요소 힌트를 진단하는 HANS 하위 케이스에서 성능을 평가하였으며, 증강 크기에 따라 비교했다.
• 다양한 증강 세트 크기(n=101, 405, 1215)로 모델을 훈련시켜 확장성과 일반화 능력을 평가했다.
• 표준 MNLI 테스트 세트에서의 성능을 비교하여 표준 작업 정확도에 악영향을 주지 않았는지 확인했다.

실험 결과

연구 질문

• RQ1 MNLI 학습 세트에 문법적으로 변형된 예시를 추가함으로써 BERT의 자연어 추론에서 단어 순서 민감도가 향상되는가?
• RQ2 데이터 증강으로 인한 향상이 증강 과정에서 사용되지 않은 문법적 구조로 일반화되는가?
• RQ3 관찰된 향상은 '사용하지 못한 연결' 가설(학습된 문법적 특징를 사용하지 못함)이 '표현의 부족' 가설(표현에 문법적 특징가 부족함)보다 더 타당한지를 뒷받침하는가?
• RQ4 학습 세트 크기의 0.1%에 해당하는 최소한의 데이터 증강으로도 심각한 문법적 도전 세트에서의 강건성이 크게 향상되고 표준 벤치마크 성능에 해를 끼치지 않는가?

주요 결과

• 주어/목적어 역전 증강으로 HANS 예시에서 단어 순서 민감도를 진단하는 BERT의 정확도가 0.28에서 0.73으로 상당히 향상되었다.
• 향상된 성능은 다른 구조로 일반화되었다: 관계구문 예시의 정확도는 0.33에서 0.83으로, 피동어 구문 예시의 정확도는 0.67에서 0.99로 상승하였다.
• 표준 MNLI 테스트 세트에서의 성능은 안정을 유지하였으며, 유의미한 저하가 없었고, 표준 NLI 성능에 부정적인 영향이 없음을 시사했다.
• 부분수열 및 구성요소 힌트를 진단하는 케이스에서 성능 향상이 관찰되어 더 넓은 범위의 문법적 강건성이 향상됨을 시사했다.
• 결과는 '사용하지 못한 연결' 가설을 지지하며, BERT가 이미 문법적 표현을 학습하지만, 문법적 구조를 강조하는 충분한 훈련 예시가 부족해 이를 사용하지 못하기 때문임을 시사한다.
• 단지 405개의 증강 예시(=MNLI 학습 세트의 0.1%)만으로도 상당한 성과를 달성하여, 이 증강 방법이 매우 높은 데이터 효율성을 가짐을 나타낸다.