[논문 리뷰] DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification

Hui Chen, Wei Han외 2명|arXiv (Cornell University)|2022. 09. 12.

Text and Document Classification Technologies인용 수 9

한 줄 요약

DoubleMix는 신경망의 은닉 공간에서 이중 단계의 보간을 통해 모델의 강건성을 향상시켜 텍스트 분류에 효과적인 간단한 데이터 증강 방법이다. 훈련 샘플의 변형된 변종을 먼저 생성한 후, 여러 은닉층에서 원본 입력과 혼합함으로써, 여섯 가지 벤치마크 데이터셋과 저자원 설정에서 기존의 토큰-, 문장-, 은닉 수준의 증강 기법들을 능가하는 성능을 달성한다.

ABSTRACT

This paper proposes a simple yet effective interpolation-based data augmentation approach termed DoubleMix, to improve the robustness of models in text classification. DoubleMix first leverages a couple of simple augmentation operations to generate several perturbed samples for each training data, and then uses the perturbed data and original data to carry out a two-step interpolation in the hidden space of neural models. Concretely, it first mixes up the perturbed data to a synthetic sample and then mixes up the original data and the synthetic perturbed data. DoubleMix enhances models' robustness by learning the "shifted" features in hidden space. On six text classification benchmark datasets, our approach outperforms several popular text augmentation methods including token-level, sentence-level, and hidden-level data augmentation techniques. Also, experiments in low-resource settings show our approach consistently improves models' performance when the training data is scarce. Extensive ablation studies and case studies confirm that each component of our approach contributes to the final performance and show that our approach exhibits superior performance on challenging counterexamples. Additionally, visual analysis shows that text features generated by our approach are highly interpretable. Our code for this paper can be found at https://github.com/declare-lab/DoubleMix.git.

연구 동기 및 목표

• 텍스트 분류에서 레이블이 부족한 문제를 다루며, 이는 과적합과 얕은 힌트에 의존하는 결과를 초래한다.
• 특히 은닉 수준 기법에서의 레이블 혼합으로 인해 진정한 클래스 확률을 잘못 표현하는 기존 데이터 증강 기법의 한계를 극복한다.
• 소프트 레이블 혼합 없이도 은닉 공간에서의 보간을 통해 강건하고 이동된 특징을 학습함으로써 모델의 일반화 능력을 향상시킨다.
• 저자원 조건과 도전적인 반대적 예외 상황에서 일관된 성능 향상을 입증한다.
• 학습된 특징 다각형의 시각적 분석과 적대적 예외에 대한 사례 연구를 통해 해석 가능성을 제공한다.

제안 방법

• 각 훈련 샘플의 여러 변형된 변종을 생성하기 위해 단순하고 규칙 기반의 증강 작업(예: 단어 삽입, 삭제, 대체)을 적용한다.
• 이중 단계의 보간 과정을 수행한다: 먼저 변형된 변종을 은닉 공간에서 합성 샘플로 혼합한 후, 원본 입력과 이 합성 샘플을 혼합한다.
• 편향 강도와 노이즈 주입의 균형을 맞추기 위해 원본 입력에 더 높은 혼합 가중치를 적용한다.
• 원본 입력과 변형된 입력에 대한 예측 간 분포 불일치를 최소화하기 위해 젠슨-쇼넬 분산 정규화 항을 도입한다.
• Transformer 인코더의 여러 레이어(예: {3,4}, {9,10,12})에서 보간을 적용하여 계층적 표현을 학습하며, 중간에서 상단 레이어에서 최적의 성능을 관찰했다.
• t-SNE를 사용해 학습된 특징을 시각화하여 표현의 기하학적 구조를 분석하고, 개선된 군집화 및 분리 능력을 검증한다.

실험 결과

연구 질문

• RQ1 은닉 공간에서의 보간 기반 데이터 증강은 소프트 레이블 혼합에 의존하지 않고도 모델의 강건성을 향상시킬 수 있는가?
• RQ2 표준 텍스트 분류 벤치마크에서 DoubleMix는 최신 기술인 토큰 수준, 문장 수준, 은닉 수준의 데이터 증강 기법들과 비교해 어떻게 성능을 내는가?
• RQ3 DoubleMix는 레이블이 부족한 저자원 설정에서 일관되게 성능 향상을 이끌어내는가?
• RQ4 다양한 보간 레이어 조합은 표현 학습과 최종 성능에 어떤 영향을 미치는가?
• RQ5 DoubleMix는 표면 패턴을 넘어서 일반화 능력을 시험하는 도전적인 반대적 예외를 효과적으로 다룰 수 있는가?

주요 결과

• DoubleMix는 여섯 개의 텍스트 분류 벤치마크 데이터셋에서 여러 최신 기술보다 뛰어난 성능을 보이며, 정확도와 F1 점수에서 일관된 향상을 보였다.
• 10,000개의 훈련 샘플을 가진 SNLI 데이터셋에서 DoubleMix는 테스트 정확도 71.23%와 F1 점수 71.05%를 기록했으며, BERT 기준선(69.77% 정확도, 69.59% F1)을 초월했다.
• 레이어 조합 {9,10,12}에서 보간을 수행했을 때 DoubleMix가 가장 높은 성능을 기록했으며, 이는 상단 레이어 표현이 강건한 특징 학습에 가장 효과적임을 시사한다.
• Kaushik 등(2020)이 제시한 반대적 예외에 대한 예측 성능을 크게 향상시켰으며, 특히 추론 및 중립 레이블에서 BERT가 더 자주 실패하는 데 비해 효과적이다.
• t-SNE 시각화 결과, DoubleMix가 학습한 특징는 BERT 기준선보다 클래스 간에 더 잘 분리되어 있음을 보여주며, 더 나은 표현 학습 능력을 시사한다.
• 제거 실험을 통해 변형 생성 및 이중 단계 보간 구성 요소가 모두 필수적임을 확인했으며, 정규화 항은 학습을 안정화시키고 일반화 능력을 향상시켰다.