[논문 리뷰] E-Stitchup: Data Augmentation for Pre-Trained Embeddings

C. Wolfe, Keld T. Lundgaard|arXiv (Cornell University)|2019. 11. 28.

Video Analysis and Summarization참고 문헌 30인용 수 6

한 줄 요약

이 논문은 사전 훈련된 임베딩을 가중치 가중 평균으로 조합하고 레이블 소프트닝을 적용함으로써 모델 캘리브레이션, 분류 정확도, 분포 외 데이터 탐지 성능을 향상시키는 데이터 증강 기법인 E-Stitchup을 제안한다. 이는 사전 훈련된 모델의 미세조정 없이도 더 나은 성능과 더 빠른 수렴을 달성한다.

ABSTRACT

In this work, we propose data augmentation methods for embeddings from pre-trained deep learning models that take a weighted combination of a pair of input embeddings, as inspired by Mixup, and combine such augmentation with extra label softening. These methods are shown to significantly increase classification accuracy, reduce training time, and improve confidence calibration of a downstream model that is trained with them. As a result of such improved confidence calibration, the model output can be more intuitively interpreted and used to accurately identify out-of-distribution data by applying an appropriate confidence threshold to model predictions. The identified out-of-distribution data can then be prioritized for labeling, thus focusing labeling effort on data that is more likely to boost model performance. These findings, we believe, lay a solid foundation for improving the classification performance and calibration of models that use pre-trained embeddings as input and provide several benefits that prove extremely useful in a production-level deep learning system.

연구 동기 및 목표

• 사전 훈련된 임베딩을 사용할 때의 열악한 모델 캘리브레이션과 과신 문제를 해결한다.
• 사전 훈련된 임베딩 기반의 다운스트림 모델의 일반화 및 강건성을 향상시킨다.
• 캘리브레이션된 신뢰도 점수를 통해 분포 외(OOD) 데이터 탐지 기능을 가능하게 한다.
• 훈련 시간을 단축시키면서도 분류 성능을 유지하거나 향상시킨다.
• 다양한 모odalities(예: 비전, NLP)에 걸쳐 사전 훈련된 임베딩에 적용 가능한 플러그 앤 플레이 형식의 증강 방법을 제공한다.

제안 방법

• 사전 훈련된 모델의 두 입력 임베딩을 가중 평균으로 조합하는 E-Mixup 및 E-Stitchup을 제안한다.
• 임베딩 입력과 그에 해당하는 one-hot 레이블에 동일한 보간 계수를 적용한다.
• One-hot 레이블을 부드러운 분포로 대체함으로써 레이블 소프트닝을 적용하는 소프트 E-Stitchup을 도입한다.
• 임베딩과 레이블에 동일한 보간 계수를 사용하여 증강된 데이터의 일관성을 유지한다.
• 캘리브레이션된 모델 출력을 기반으로 히우리스틱 기반의 신뢰도 임계값을 사용해 분포 외 샘플을 식별한다.
• 사전 훈련된 백본 모델의 미세조정 없이 증강된 임베딩으로 다운스트림 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 임베딩을 사용할 때 임베딩 수준의 데이터 증강이 모델 캘리브레이션과 분류 정확도 향상에 기여할 수 있는가?
• RQ2 표준 훈련 대비 수렴 속도와 OOD 탐지 성능 측면에서 임베딩 수준의 증강 기법은 어떻게 비교되는가?
• RQ3 레이블 소프트닝이 임베딩 증강과 결합될 경우 캘리브레이션 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 사전 훈련된 모델을 수정하지 않고도 다양한 모달리티(예: 비전, NLP)에 효과적으로 적용될 수 있는가?
• RQ5 캘리브레이션된 신뢰도 점수의 사용이 활성 학습을 위한 분포 외 데이터 신뢰성 있는 식별을 가능하게 하는가?

주요 결과

• E-Stitchup은 모델 캘리브레이션을 크게 향상시켜 신뢰도 점수가 예측 정확도를 신뢰성 있게 반영할 수 있도록 한다.
• E-Stitchup으로 훈련된 모델은 기준 모델 대비 내분포 및 '없음' 카테고리 정확도가 높아진다.
• 훈련 시간을 약 50% 감소시켜 제어 조건 대비 요구되는 에포크 수의 50% 미만으로 수렴시킨다.
• E-Stitchup은 낮은 신뢰도 예측을 기반으로 임계값 기반의 식별이 가능한 효과적인 OOD 탐지 기능을 제공한다.
• 레이블 소프트닝을 E-Stitchup과 결합하면 one-hot 레이블 대비 과신을 줄이고 캘리브레이션을 더욱 향상시킨다.
• 제안된 증강 방법은 다양한 모달리티에서 효과적이며, 사전 훈련된 임베딩 모델의 미세조정이 필요하지 않다.