[논문 리뷰] Improved Text Classification via Test-Time Augmentation

Haiyan Lu, Divya Shanmugam외 2명|arXiv (Cornell University)|2022. 06. 27.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 재학습 없이 사전 훈련된 언어 모델을 사용할 때 테스트 시 증강(TTA)이 텍스트 분류 정확도를 크게 향상시킨다는 것을 보여준다. 여러 개의 스토하스틱이고 비결정적인 증강(예: 동의어 교체)을 테스트 입력에 적용하고 예측을 평균화함으로써, TTA는 WILDS CivilComments 데이터셋에서 최대 1.4%p의 정확도 향상을 달성했으며, 단일 증강을 다중 샘플로 적용하는 정책이 단일 샘플 또는 다중 증강 접근 방식보다 성능이 뛰어났다.

ABSTRACT

Test-time augmentation -- the aggregation of predictions across transformed examples of test inputs -- is an established technique to improve the performance of image classification models. Importantly, TTA can be used to improve model performance post-hoc, without additional training. Although test-time augmentation (TTA) can be applied to any data modality, it has seen limited adoption in NLP due in part to the difficulty of identifying label-preserving transformations. In this paper, we present augmentation policies that yield significant accuracy improvements with language models. A key finding is that augmentation policy design -- for instance, the number of samples generated from a single, non-deterministic augmentation -- has a considerable impact on the benefit of TTA. Experiments across a binary classification task and dataset show that test-time augmentation can deliver consistent improvements over current state-of-the-art approaches.

연구 동기 및 목표

• 사전 훈련된 언어 모델에 재학습 없이 테스트 시 증강(TTA)이 텍스트 분류 성능을 향상시킬 수 있는지 조사하기.
• 사전 훈련된 언어 모델을 위한 TTA에서 정확도 향상을 극대화하는 효과적인 증강 정책을 특정하기.
• 다중 샘플 TTA에서 단일 증강을 사용할 경우 단일 샘플 또는 다중 증강 구성보다 성능이 뛰어나는 이유를 이해하기.
• 증강 유형(단어 기반 vs. 문자 기반)과 집계 전략이 TTA 성능에 미치는 상대적 영향을 평가하기.
• NLP 분류 작업에 TTA를 적용하기 위한 실용적인 후행 추천 사항 제공하기.

제안 방법

• 스토하스틱 증강 정책에 의해 생성된 M개의 증강된 버전과 원본 테스트 입력에 대해 사전 훈련된 분류기를 적용하기.
• 모든 M+1개의 입력(원본 + 증강된)에서의 클래스 로짓을 단순 평균하여 최종 예측을 도출하기.
• 네 가지 TTA 정책 구성(단일 샘플 단일 증강, 다중 샘플 단일 증강, 단일 샘플 다중 증강, 다중 샘플 다중 증강)을 설계하기.
• 단어 수준의 의미 인식 증강 방법(예: WordNet, PPDB 동의어)과 문자 수준의 증강 방법(예: 무작위 문자 교체)을 증강 방법으로 사용하기.
• 10개의 무작위 테스트 서브셋에 대한 평균 정확도를 사용해 WILDS CivilComments 이진 분류 데이터셋에서 성능 평가하기.
• 성능 차이를 설명하기 위해 정책 간 수정률과 오염률 분석하기.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델에 후행적으로 적용된 테스트 시 증강(TTA)이 텍스트 분류 정확도를 향상시키는가?
• RQ2 증강 정책의 설계, 특히 샘플 수와 변환 방법의 선택이 TTA 성능에 어떻게 영향을 미치는가?
• RQ3 왜 다중 샘플 단일 증강 TTA가 단일 샘플 또는 다중 증강 구성보다 성능이 뛰어나게 되는가?
• RQ4 단어 기반 증강과 문자 기반 증강이 TTA 정확도에 미치는 상대적 영향은 무엇인가?
• RQ5 TTA는 동일한 데이터로 미세조정된 모델을 능가할 수 있으며, 이는 NLP에서의 잠재적 활용 가능성을 어떻게 시사하는가?

주요 결과

• 다중 샘플 단일 증강 TTA 구성은 최대 1.4%p의 정확도 향상을 기록했으며, 이는 단일 샘플 및 다중 증강 정책보다 유의미하게 뛰어났다.
• 4개 샘플, 1개 증강 정책은 오류 수정 수(증강으로 수정된 잘못 분류된 예시)가 오염 수(정확하게 분류된 예시가 잘못 분류된 수)를 초월하여 순정확도 향상을 이끌어냈다.
• 수정 사례의 예측 겹침 평균(0.51)은 오염 사례(0.23)보다 높았으며, 이는 앙상블 평균화가 정확한 예측을 안정화시킨다는 것을 시사한다.
• 단어 기반 변환(예: WordNet 또는 PPDB를 이용한 동의어 교체)이 문자 기반 변환보다 성능이 뛰어났으며, 후자는 종종 어간을 변경해 의미 오류를 유발했다.
• TTA는 CivilComments 데이터셋에서 93.7%의 정확도를 기록했으며, 이는 재학습 또는 훈련 시 증강 없이도 원본 모델의 92.3% 정확도를 초월했다.
• 다중 샘플 단일 증강은 계산 비용 대비 정확도 향상의 최적의 균형을 제공했으며, 다중 증강 구성은 유의미한 향상(≤0.04%)을 기록하지 못했다.