[논문 리뷰] MixUp Training Leads to Reduced Overfitting and Improved Calibration for the Transformer Architecture

Wancong Zhang, Ieshan Vaidya|arXiv (Cornell University)|2021. 02. 22.

Topic Modeling참고 문헌 11인용 수 7

한 줄 요약

이 논문은 자연어 이해(NLU) 작업에서 BERT를 미세조정하기 위해 입력, 다양체, CLS 수준의 MixUp 방법을 제안하며, 임베딩의 선형 조합을 통해 일반화 능력을 향상시킵니다. MixUp는 다양한 NLU 작업에서 테스트 손실과 校정 오차를 최대 50% 감소시킴을 입증하였으며, 특히 저자원 환경에서 단순한 작업(예: 감성 분류)에 특히 유익합니다.

ABSTRACT

MixUp is a computer vision data augmentation technique that uses convex interpolations of input data and their labels to enhance model generalization during training. However, the application of MixUp to the natural language understanding (NLU) domain has been limited, due to the difficulty of interpolating text directly in the input space. In this study, we propose MixUp methods at the Input, Manifold, and sentence embedding levels for the transformer architecture, and apply them to finetune the BERT model for a diverse set of NLU tasks. We find that MixUp can improve model performance, as well as reduce test loss and model calibration error by up to 50%.

연구 동기 및 목표

• 컴퓨터 비전 분야의 데이터 증강 기법인 MixUp을 자연어 이해(NLU) 도메인으로 확장하여 트랜스포머 모델에 적용하기 위해.
• 원시 텍스트 입력을 직접 조합하는 데 어려움이 있음을 고려하여, 입력, 다양체, CLS 수준에서의 임베딩 수준 MixUp 방법을 제안하기 위해.
• 다양한 NLU 작업과 데이터 제약 조건에서 모델 성능, 테스트 손실, 校정 능력에 미치는 MixUp의 영향을 평가하기 위해.
• BERT에서 일반화 능력과 불확실성 추정이 향상되는지, 특히 자원이 제한된 조건에서 어떻게 작용하는지 조사하기 위해.

제안 방법

• 입력 MixUp를 제안하며, 베타 분포로 샘플링된 혼합 계수 λ를 사용해 BERT의 토큰 수준 히든 표현을 선형 조합으로 혼합합니다.
• 다양체 MixUp를 도입하여 특정 트랜스포머 레이어 k에서의 히든 표현에 MixUp를 적용하며, 두 표현과 레이블 모두에 동일한 λ를 사용합니다.
• CLS MixUp를 적용하여 [CLS] 토큰 표현과 그에 해당하는 one-hot 레이블만 혼합합니다.
• 각 미니배치에서 혼합 계수를 샘플링하기 위해 베타 분포(λ ~ β(α, α))를 사용하며, α는 혼합 균형을 조절합니다.
• 기본 모델과 동일한 하이퍼파라미터와 아키텍처를 유지하면서, 증강된 데이터를 사용해 표준 교차 엔트로피 손실로 BERT 모델을 훈련합니다.
• 다섯 가지 NLU 작업(영화 리뷰 감성 분류: IMDb, 다중 클래스 분류: AGNews, 수용 가능성 평가: CoLA, 자연어 추론: RTE, 질의응답: BoolQ)에서 전체 데이터와 저자원 설정 모두에서 성능을 평가합니다.

실험 결과

연구 질문

• RQ1 원시 텍스트를 직접 조합하는 데 어려움이 있음에도 불구하고, 다양한 NLU 작업에서 BERT 트랜스포머 아키텍처에 MixUp를 효과적으로 적용할 수 있는가?
• RQ2 입력, 다양체, CLS 수준의 다양한 MixUp 변종 간에, 다양한 작업 복잡도에서 성능, 테스트 손실, 校정 능력 측면에서 어떤 차이가 있는가?
• RQ3 특히 저자원 학습 환경에서 MixUp이 과적합을 줄이고 모델의 校정 능력을 향상시키는가?
• RQ4 감성 분류와 같은 작업과 문법적 추론 작업 등 어떤 종류의 NLU 작업에서 각 MixUp 변종이 가장 효과적인가?

주요 결과

• 다양체 MixUp는 校정 오차를 최대 50% 감소시키며 테스트 손실을 크게 향상시켰고, IMDb에서 단 32개 샘플로 훈련한 경우조차 전체 데이터 기반 베이스라인을 초월하는 성능을 보였다.
• IMDb와 AGNews와 같은 단순한 작업에서는 입력 MixUp와 다양체 MixUp가 베이스라인보다 정확도를 높이고 테스트 손실을 줄였으며, 특히 저자원 조건에서 두드러진 성능 향상을 보였다.
• CoLA, RTE, BoolQ와 같은 복잡한 문법적 작업에서는 입력 MixUp와 다양체 MixUp가 베이스라인 성능을 떨어뜨렸지만, CLS MixUp는 성능을 유지하면서 校정 오차를 감소시켰다.
• 모든 MixUp 변종이 과적합을 줄였으며, 훈련 중 테스트 손실 곡선이 더 평탄한 경향을 보였고, 특히 다양체 MixUp가 校정 능력 향상에서 가장 일관된 성과를 보였다.
• CLS MixUp는 복잡한 작업에서 성능을 손상시키지 않으면서도 校정 능력을 향상시켰지만, 이전 연구와 달리 GLUE 작업에서 예측 정확도 향상에는 기여하지 못했다.
• 이 연구는 MixUp가 결정 경계를 매끄럽게 하고 과적합을 줄임으로써, 특히 저자원 환경에서 모델의 강건성과 불확실성 추정 능력을 향상시킨다는 점을 확인하였다.