[논문 리뷰] FreeLB: Enhanced Adversarial Training for Language Understanding

Chen Zhu, Yu Cheng외 3명|arXiv (Cornell University)|2019. 09. 25.

Topic Modeling참고 문헌 44인용 수 4

한 줄 요약

FreeLB는 BERT 및 RoBERTa 모델의 토크나이저 테이닝 중 어휘 임베딩에 직접적으로 적대적 편향을 적용함으로써 강건성과 불변성을 향상시키는 새로운 적대적 훈련 방법이다. 일반화 능력을 향상시켜 GLUE, CommonsenseQA, ARC 벤치마크에서 최고 성능을 기록하였으며, BERT에서는 1.1점 향상, RoBERTa-large에서는 0.3점 향상된 성과를 보였다.

ABSTRACT

Adversarial training, which minimizes the maximal risk for label-preserving input perturbations, has proved to be effective for improving the generalization of language models. In this work, we propose a novel adversarial training algorithm - FreeLB, that promotes higher robustness and invariance in the embedding space, by adding adversarial perturbations to word embeddings and minimizing the resultant adversarial risk inside different regions around input samples. To validate the effectiveness of the proposed approach, we apply it to Transformer-based models for natural language understanding and commonsense reasoning tasks. Experiments on the GLUE benchmark show that when applied only to the finetuning stage, it is able to improve the overall test scores of BERT-based model from 78.3 to 79.4, and RoBERTa-large model from 88.5 to 88.8. In addition, the proposed approach achieves state-of-the-art test accuracies of 85.39\% and 67.32\% on ARC-Easy and ARC-Challenge. Experiments on CommonsenseQA benchmark further demonstrate that FreeLB can be generalized and boost the performance of RoBERTa-large model on other tasks as well.

연구 동기 및 목표

• fine-tuning 과정에서 임베딩 공간에서 사전 훈련된 언어 모델의 강건성과 불변성을 향상시키기 위해.
• 일반적인 적대적 훈련이 보통 은닉 표현에 집중하는 데 반해 입력 임베딩에 초점을 맞추지 못하는 한계를 해결하기 위해.
• 모델 아키텍처 변경이나 추가 훈련 데이터 없이 일반화 능력을 향상시키는 방법을 개발하기 위해.
• 다양한 NLU 및 공통 지식 추론 작업에서 임베딩 수준의 적대적 훈련의 효과를 검증하기 위해.
• 모델 아키텍처를 수정하지 않고도 GLUE 및 ARC와 같은 표준 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• FreeLB는 은닉 상태나 어텐션 레이어가 아닌 어휘 임베딩에 직접적으로 적대적 편향을 적용한다.
• 입력 샘플 주변의 여러 영역에서 적대적 리스크를 최소화함으로써 임베딩 공간에서의 강건성을 증진시킨다.
• 사전 훈련 과정을 수정하지 않고, 테스트 단계에서만 적대적 훈련을 수행한다.
• 손실를 최대화하면서 레이블 일관성을 유지하는 방식으로, 프로젝션 기반 경사 하강법(PGD)을 사용해 편향을 생성한다.
• 의미적 및 문법적 불변성을 유지하는 방식으로 편향을 적용함으로써 모델의 일반화 능력을 향상시킨다.
• Transformer 기반 모델인 BERT 및 RoBERTa와 호환되며, 최소한의 계산 오버헤드로 적용 가능하다.

실험 결과

연구 질문

• RQ1 입력 임베딩 수준에서 적용된 적대적 훈련이 자연어 이해에서 모델의 강건성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 FreeLB는 하류 NLU 작업의 테스트 단계에서 테이닝 중 표준 적대적 훈련 방법보다 우월한 성능을 보일 수 있는가?
• RQ3 FreeLB는 ARC-Easy 및 ARC-Challenge와 같은 도전적인 벤치마크에서 성능 향상에 얼마나 기여하는가?
• RQ4 FreeLB는 GLUE 벤치마크 외에도 CommonsenseQA와 같은 다양한 아키텍처와 작업에 일반화될 수 있는가?
• RQ5 임베딩 수준의 적대적 훈련이 아키텍처 수정 없이 측정 가능한 정확도 향상으로 이어지는가?

주요 결과

• FreeLB는 BERT 기반 모델의 전체 GLUE 점수를 78.3에서 79.4로 향상시켜 1.1점 향상되었다.
• RoBERTa-large 모델의 GLUE 점수는 88.5에서 88.8로 0.3점 향상되었다.
• ARC-Easy 벤치마크에서는 85.39%의 최고 성능 테스트 정확도를 기록했다.
• 더 어려운 ARC-Challenge 세트에서는 67.32%의 최고 성능 정확도를 달성했다.
• CommonsenseQA에서도 성능 향상을 보이며 GLUE 벤치마크를 초월한 일반화 능력을 입증했다.
• 모델 아키텍처 변경 없이, 어휘 임베딩에 대한 적대적 편향을 적용한 테이닝만으로도 성과 향상이 달성되었다.