[논문 리뷰] Stress Test Evaluation of Transformer-based Models in Natural Language Understanding Tasks

Carlos Aspillaga, Andrés Carvallo외 1명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 자연어 추론(NLI) 및 질의응답(QA) 작업에서 최신의 트랜스포머 기반 모델(RoBERTa, XLNet, BERT)이 악성 스트레스 테스트에 어떻게 대응하는지 평가한다. 이전의 RNN 모델보다 더 높은 내성성을 보였지만, 심각한 변형 조건에서 예상치 못한 실패를 보이며 일반화 및 스트레스 하에서의 추론 능력에 지속적인 취약성이 드러났다.

ABSTRACT

There has been significant progress in recent years in the field of Natural Language Processing thanks to the introduction of the Transformer architecture. Current state-of-the-art models, via a large number of parameters and pre-training on massive text corpus, have shown impressive results on several downstream tasks. Many researchers have studied previous (non-Transformer) models to understand their actual behavior under different scenarios, showing that these models are taking advantage of clues or failures of datasets and that slight perturbations on the input data can severely reduce their performance. In contrast, recent models have not been systematically tested with adversarial-examples in order to show their robustness under severe stress conditions. For that reason, this work evaluates three Transformer-based models (RoBERTa, XLNet, and BERT) in Natural Language Inference (NLI) and Question Answering (QA) tasks to know if they are more robust or if they have the same flaws as their predecessors. As a result, our experiments reveal that RoBERTa, XLNet and BERT are more robust than recurrent neural network models to stress tests for both NLI and QA tasks. Nevertheless, they are still very fragile and demonstrate various unexpected behaviors, thus revealing that there is still room for future improvement in this field.

연구 동기 및 목표

• 최신 트랜스포머 기반 모델(RoBERTa, XLNet, BERT)이 극한의 스트레스 조건에서 어떻게 작동하는지 체계적으로 평가하기 위해.
• 이러한 모델들이 이전 RNN 모델에서 관찰된 바와 같이 데이터셋 아티팩트나 표면적 신호에 의존하는지, 진정으로 의미적 이해를 하고 있는지 조사하기 위해.
• 소 rum, 노이즈, 반대어 등 악성 입력 조건에서 발생하는 실패 유형과 예상치 못한 행동을 규명하기 위해.
• 동일한 스트레스 테스트 시나리오에서 트랜스포머 모델의 성능 저하가 이전의 RNN 모델과 비교하여 어떻게 나타나는지 비교하기 위해.
• 향후 내성성 연구 및 악성 훈련을 지원하기 위해 새로운 악성 SQuAD 데이터셋을 공개하기 위해.

제안 방법

• NLI 및 QA 작업에 대해 방해 요소(예: 무관하지만 납득 가능한 내용), 노이즈(예: 철자 오류, 단어 교체), 부정, 반대어 등의 스트레스 테스트를 적용하였다.
• 자연어 추론 작업에 MultiNLI 데이터셋, 질의응답 작업에 SQuAD 데이터셋을 사용하였으며, 제어된 변형을 통해 악성 예제를 생성하였다.
• 노이즈 및 악성 예제를 도입하여 새로운 악성 SQuAD 데이터셋을 개발하였으며, 공개적으로 https://github.com/caspillaga/noisy-squad 에서 제공하였다.
• 모든 스트레스 테스트 조건에서 정량적 성능 분석을 수행하여 정확도 저하 및 모델 행동 변화를 측정하였다.
• 추론 중 주의 행렬을 점검하여 모델의 집중 영역를 분석하고 입력과 주의 패턴 간의 불일치 여부를 탐지하였다.
• 동일한 스트레스 조건에서 RoBERTa, XLNet, BERT의 성능을 비교하여 상대적 내성성 및 모델별 고유의 실패 패tern을 평가하였다.

실험 결과

연구 질문

• RQ1 RoBERTa, XLNet, BERT는 이전의 RNN 기반 모델과 비교하여 NLI 및 QA 작업에서 악성 스트레스 테스트에 어떻게 대응하는가?
• RQ2 이러한 모델들이 진정한 의미적 이해보다는 데이터셋 아티팩트나 표면적 신호에 얼마나 의존하는가?
• RQ3 노이즈, 부정, 반대어 등의 악성 변형 중 어느 것이 모델 성능을 가장 심각하게 떨어뜨리는가?
• RQ4 동일한 스트레스 조건에서 한 모델에만 영향을 주는 모델 고유의 취약성은 존재하는가?
• RQ5 주의 행렬을 통해 악성 추론 중 입력과 모델의 집중 영역 간의 불일치를 드러내어 잘못된 추론의 징후를 확인할 수 있는가?

주요 결과

• RoBERTa, XLNet, BERT는 스트레스 테스트에서 이전의 RNN 기반 모델보다 더 높은 내성성을 보였으며, 특히 노이즈와 반대어 처리에서 뛰어난 성능을 보였다. 이는 대규모 사전 훈련 덕분으로 여겨진다.
• 방해 요소 테스트에서 성능 저하가 심각하게 발생하였으며, 특히 부정 조건에서 두드러져 논리적 추론 및 의미 반전 처리에 여전히 어려움을 겪고 있음을 시사한다.
• 반대어 작업에서는 높은 성능을 보였으며, 이는 다양한 코퍼스에서의 사전 훈련이 어휘적 반대 관계를 암묵적으로 학습했을 가능성을 시사한다.
• 표시 아티팩트 테스트 결과, 모델들이 가설뿐만 아니라 전제 문장도 고려하고 있어, NLI 작업에서 데이터셋 아티팩트를 악용하지는 않음을 확인하였다.
• QA 작업에서는 악성 및 노이즈가 가미된 예제가 모든 모델의 성능을 저하시켰지만, RNN 모델보다는 저하 폭이 작았으며, 이는 내성성 향상이 확인됨을 뒷받침한다.
• 일부 악성 예제는 특정 모델에만 영향을 주어 다른 모델에는 영향을 주지 않아, 최신 트랜스포머 모델 간에도 고유한 실패 지점이 존재함을 보여주었다.