[논문 리뷰] HiddenCut: Simple Data Augmentation for Natural Language Understanding with Better Generalization

Jiaao Chen, Dinghan Shen외 2명|arXiv (Cornell University)|2021. 05. 31.

Topic Modeling참고 문헌 57인용 수 5

한 줄 요약

HiddenCut는 주로 스팁스 패tern에 의존하는 것 대신 더 넓고 작업에 관련성이 높은 특징에 의존하도록 모델을 유도함으로써 일반화 능력을 향상시키기 위해 동적으로 어텐션 기반 전략을 사용하여 연속된 은닉 표현의 스파이크를 마스킹하는 단순하면서도 효과적인 데이터 증강 방법이다. 이는 GLUE 벤치마크에서 최신 기술을 초월하며, 분포 외 및 반대 조건 예측 예제에서 뛰어난 강건성을 보이며, 이는 모델이 더 넓은 특징에 의존하도록 유도하기 때문이다.

ABSTRACT

Fine-tuning large pre-trained models with task-specific data has achieved great success in NLP. However, it has been demonstrated that the majority of information within the self-attention networks is redundant and not utilized effectively during the fine-tuning stage. This leads to inferior results when generalizing the obtained models to out-of-domain distributions. To this end, we propose a simple yet effective data augmentation technique, HiddenCut, to better regularize the model and encourage it to learn more generalizable features. Specifically, contiguous spans within the hidden space are dynamically and strategically dropped during training. Experiments show that our HiddenCut method outperforms the state-of-the-art augmentation methods on the GLUE benchmark, and consistently exhibits superior generalization performances on out-of-distribution and challenging counterexamples. We have publicly released our code at https://github.com/GT-SALT/HiddenCut.

연구 동기 및 목표

• 사소한 패턴에 과도하게 피팅되는 것 때문에 미세조정된 사전 학습된 언어 모델이 분포 외 데이터에서 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 비용이 많이 들거나 복잡한 변형을 사용하지 않고도 미세조정 중에 은닉 표현을 정규화하여 모델의 강건성을 향상시키기 위해.
• 언어적 일관성을 유지하면서 재현성을 줄이기 위해 은닉 공간에서 연속된 스파이크를 전략적으로 마스킹하는 데이터 증강 기법을 개발하기 위해.
• 은닉 공간에서 구조적인 스파이크를 마스킹하는 것이 무작위나 입력 공간 드롭아웃보다 더 나은 특징 학습과 일반화를 이끌어내는지 입증하기 위해.
• 다양한 자연어 이해 작업 전반에서 모델 성능을 향상시키는 효율적이고 파라미터가 없는 정규화 방법을 제공하기 위해.

제안 방법

• HiddenCut는 입력이나 무작위 드롭아웃이 아닌, 각 인코딩 레이어 이후의 트랜스포머 피드포워드 레이어에서 은닉 표현의 연속된 스파이크를 마스킹한다.
• 정보성 스파이크를 식별하고 우선순위를 정하여 마스킹하는 데 어텐션 기반 메커니즘을 사용함으로써, 전략적이고 무작위적이지 않은 은닉 유닛 제거를 보장한다.
• 이 방법은 어텐션 점수를 기반으로 동적으로 스파이크를 선택하여 마스킹 과정의 다양성과 적응성을 높인다.
• 원본 및 증강된 순방향 전파 간의 젠슨-쇼난 분산(Jensen-Shannon Divergence, JSD) 일致성 정규화를 적용하여 레이블 일관성을 유지한다.
• 마스킹 비율은 스파이크 길이를 결정하는 하이퍼파라미터 α와 후보 집합 크기를 제어하는 샘플링 비율 β로 제어된다.
• 이 방법은 미세조정 중에 적용되며, 추가적인 모델 파라미터나 학습 데이터가 필요하지 않다.

실험 결과

연구 질문

• RQ1 은닉 공간에서 연속된 스파이크를 마스킹하는 것이 무작위 드롭아웃이나 입력 공간 증강을 초월하여 모델의 일반화 능력을 향상시키는가?
• RQ2 스파이크를 마스킹할 때 어텐션 기반 전략이 무작위나 균일한 마스킹보다 더 나은 성능과 강건성을 제공하는가?
• RQ3 내부 분포 및 분포 외 NLU 벤치마크에서 HiddenCut은 최신 기술 데이터 증강 방법과 비교해 어떻게 성능을 냈는가?
• RQ4 마스킹 강도(α로 제어됨)와 모델 성능 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 HiddenCut은 어텐션 분포와 특정 토큰에 대한 모델 의존성에 어떤 영향을 미치는가?

주요 결과

• HiddenCut는 GLUE 벤치마크에서 최신 기술 데이터 증강 방법을 모두 능가하며, 8개의 자연어 이해 작업 전반에서 최고 성능(SOTA)을 기록했다.
• 분포 외 및 도전적인 반대 조건 예제에서 HiddenCut은 일반화 능력을 일관되게 향상시켰으며, 특히 사소한 신호에 의존하는 모델이 실패하는 경우에 두드러진 성능 향상을 보였다.
• MNLI에서 최고의 성능은 α = 0.1일 때 달성되었으며, 이는 중간 정도의 변형이 최적임을 시사한다. 더 높은 α 값은 과도한 노이즈로 인해 성능이 떨어졌다.
• SST-2에서는 최적의 샘플링 비율 β = 0.4일 때 가장 높은 정확도(95.76%)를 기록했으며, 이는 스파이크 선택의 다양성과 효율성 사이의 균형을 보여준다.
• 어텐션 가중치의 시각화 결과, HiddenCut는 더 균일한 어텐션 분포를 유도하여 '8점'이나 '흥미로운'과 같은 고어텐션 토큰에 대한 과도한 의존도를 감소시켰다.
• 젠슨-쇼난 분산 정규화는 원본 및 증강된 예제 간 예측 일관성을 유지하는 데 기여하여 강건성을 향상시켰다.