[논문 리뷰] Pretrained Transformers Improve Out-of-Distribution Robustness

Dan Hendrycks, Xiaoyuan Liu외 4명|arXiv (Cornell University)|2020. 04. 13.

Topic Modeling참고 문헌 55인용 수 25

한 줄 요약

이 논문은 실제 분포 이탈을 반영하는 새로운 벤치마크를 사용하여 일곱 개의 데이터셋을 통해 NLP 모델의 분포 외(Out-of-Distribution, OOD)에 대한 강건성을 평가한다. 사전 훈련된 트랜스포머 모델인 RoBERTa 는 OOD 데이터에서 성능 저하가 현저히 작고, 이전 모델들보다 OOD 일반화 및 탐지에서 뛰어난 성능을 보이며, 비사전 훈련 모델의 우연 수준과 대비해 최대 88.7%의 AUROC 점수를 기록한다.

ABSTRACT

Although pretrained Transformers such as BERT achieve high accuracy on in-distribution examples, do they generalize to new distributions? We systematically measure out-of-distribution (OOD) generalization for seven NLP datasets by constructing a new robustness benchmark with realistic distribution shifts. We measure the generalization of previous models including bag-of-words models, ConvNets, and LSTMs, and we show that pretrained Transformers' performance declines are substantially smaller. Pretrained transformers are also more effective at detecting anomalous or OOD examples, while many previous models are frequently worse than chance. We examine which factors affect robustness, finding that larger models are not necessarily more robust, distillation can be harmful, and more diverse pretraining data can enhance robustness. Finally, we show where future work can improve OOD robustness.

연구 동기 및 목표

• 다양한 작업과 데이터 이탈 상황에서 NLP 모델의 분포 외(OOD) 강건성을 체계적으로 평가하기 위해.
• 모델이 OOD 예측에 얼마나 잘 일반화되고, 이상치 입력을 탐지할 수 있는지 평가하여 표준 내분포 평가를 넘어서기 위해.
• 모델 크기, 디스틸리케이션, 사전 훈련 데이터의 다양성과 같은 OOD 강건성에 영향을 미치는 요인을 규명하기 위해.
• 백오프워즈(BoW), LSTMs, ConvNets, 사전 훈련된 트랜스포머를 실제 OOD 이탈 상황에서 평가하기 위해.
• 미래의 OOD 강건성 향상에 있어 연구 방향을 제시하기 위해.

제안 방법

• 메타데이터를 사용하거나 서로 다른 데이터 생성 과정에서 유래한 유사한 데이터셋을 조합하여, 새로운 OOD 강건성 벤치마크를 구축하였다.
• 감성 분석, 텍스트 함의, 질의 응답, 의미 유사도 작업에서 글쓰기 스타일, 주제, 어휘의 분포 이탈을 적용하였다.
• 다른 데이터 분할 또는 쌍으로 구성된 데이터셋에서 보류된 테스트 세트에서의 정확도 저하를 측정하여 OOD 일반화 성능을 평가하였다.
• 최대 소프트맥스 확률을 이상치 점수로 사용하여 OOD 탐지 성능을 측정하였으며, AUROC 및 FAR95 지표를 보고하였다.
• 세 가지 입력 표현 방식(BoW, word2vec, GloVe)과 네 가지 인코더 유형(LSTM, ConvNet, BERT, RoBERTa)을 사용하여 총 13개의 모델을 훈련 및 테스트하였다.
• 다양한 사전 훈련 데이터, 모델 크기, 디스틸리케이션을 고려하여 강건성 요인을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 트랜스포머는 비사전 훈련 모델에 비해 분포 외 예측에 얼마나 잘 일반화되는가?
• RQ2 신뢰도 점수를 사용하여 NLP 모델이 이상치 또는 OOD 입력을 탐지할 수 있는 정도는 어느 정도인가?
• RQ3 모델 크기나 디스틸리케이션을 증가시키면 OOD 강건성이 향상되는가?
• RQ4 다양한 데이터로 사전 훈련하면 OOD 일반화 및 탐지에 어떤 영향을 미치는가?
• RQ5 NLP 모델의 OOD 강건성에 영향을 미치는 주요 요인은 무엇인가?

주요 결과

• RoBERTa와 같은 사전 훈련된 트랜스포머는 OOD 예측에서 성능 저하가 거의 없었으며, 의미 유사도 작업에서는 정확도가 약간 상승하였다. 반면 LSTMs는 35% 이상의 정확도 저하를 보였다.
• SST-2/IMDb 감성 분석 벤치마크에서 RoBERTa 는 OOD 테스트 세트에서 91.0%의 정확도를 기록했으며, BERT Base는 85.0%, BoW 모델은 82.4%였다.
• OOD 탐지 성능 측면에서 RoBERTa 는 88.7%의 AUROC를 기록하여 우연 수준(50%)보다 뚜렷이 높았고, 비사전 훈련 모델들은 종종 우연 수준 이하 또는 근처에서 성능을 보였다.
• 디스틸리케이션은 OOD 강건성에 해로운 영향을 미치는 것으로 밝혀졌으며, DistilBERT 는 BERT Base 보다 낮은 탐지 성능을 보였다.
• 더 큰 모델이라도 반드시 더 강건한 것은 아니었고, 오히려 더 다양한 데이터로 사전 훈련한 모델일수록 OOD 일반화 성능이 향상되었다.
• RoBERTa 가 다른 모델들보다 뛰어났지만, 특히 탐지 성능 향상 측면에서 향후 연구를 위한 여지가 다수 존재함을 발견했다.