[논문 리뷰] Low-Shot Classification: A Comparison of Classical and Deep Transfer Machine Learning Approaches

P.N.R. Usherwood, Steven Smit|arXiv (Cornell University)|2019. 07. 17.

Topic Modeling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 1개 클래스당 100~1000개의 레이블된 예제가 있는 저샘플 텍스트 분류에서 딥 트랜스퍼 러닝(예: BERT)과 전통적 기계학습(예: SVM, 로지스틱 회귀)을 비교한다. 100개의 예제에서 BERT는 평균 9.7% 높은 성능을 보이며 전통적 방법을 능가하며, 특히 도메인 간 전이에 대해 뛰어난 강건성을 보이지만, 자원이 제한된 환경에서는 전통적 모델도 타당한 대안이다.

ABSTRACT

Despite the recent success of deep transfer learning approaches in NLP, there is a lack of quantitative studies demonstrating the gains these models offer in low-shot text classification tasks over existing paradigms. Deep transfer learning approaches such as BERT and ULMFiT demonstrate that they can beat state-of-the-art results on larger datasets, however when one has only 100-1000 labelled examples per class, the choice of approach is less clear, with classical machine learning and deep transfer learning representing valid options. This paper compares the current best transfer learning approach with top classical machine learning approaches on a trinary sentiment classification task to assess the best paradigm. We find that BERT, representing the best of deep transfer learning, is the best performing approach, outperforming top classical machine learning algorithms by 9.7% on average when trained with 100 examples per class, narrowing to 1.8% at 1000 labels per class. We also show the robustness of deep transfer learning in moving across domains, where the maximum loss in accuracy is only 0.7% in similar domain tasks and 3.2% cross domain, compared to classical machine learning which loses up to 20.6%.

연구 동기 및 목표

• 제한된 레이블된 데이터(1개 클래스당 100~1000개 예제)가 있는 저샘플 텍스트 분류 환경에서 딥 트랜스퍼 러닝이 전통적 기계학습보다 측정 가능한 이점을 제공하는지 평가하기 위해.
• 내부 및 외부 도메인 전이 학습 시나리오에서 양식의 강건성 평가하기 위해.
• 실제 NLP 응용 프로그램에서 작은 데이터셋을 사용할 경우 전통적 모델과 딥 트랜스퍼 러닝 간의 선택에 실증적 지침 제공하기 위해.
• 저샘플 설정에서 모델 성능, 계산 비용, 구현 가능성 간의 상호 상충 관계 분석하기 위해.

제안 방법

• 100~1000개의 레이블된 예제가 있는 소규모 레이블된 데이터셋을 사용하여, 트라이너리 감성 분류 작업에서 최신 딥 트랜스퍼 러닝 모델(BERT 및 ULMFiT)을 미세조정(fine-tuning)하여 학습시켰다.
• 표준 NLP 전처리 및 특징 공학을 사용하여 최상위 전통적 기계학습 모델(SVM, 로지스틱 회귀, fastText)과 비교하였다.
• 일관된 일반화를 확보하기 위해 여러 개의 공개 데이터셋에서 성능을 평가하였다.
• 비교 전에 각 모델 유형에 대해 초파rameter 튜닝을 수행하여 최적의 설정 확보하였다.
• 도메인 내 및 도메인 간 테스트 세트에서의 정확도를 측정하여 전이 가능성 평가하였다.
• BERT의 다국어 및 도메인 적응형 변형을 사용하여 어휘 및 도메인 이동에 대한 강건성 평가하였다.

실험 결과

연구 질문

• RQ1 1개 클래스당 100~1000개의 레이블된 예제가 있는 저샘플 텍스트 분류 작업에서 BERT와 같은 딥 트랜스퍼 러닝 모델은 전통적 기계학습 모델보다 정확도에서 어떻게 비교되는가?
• RQ2 텍스트 특성(예: 길이, 어휘, 슬랭)이 다른 도메인 간 모델 전이 시 각 기반 모델의 성능은 어떻게 변하는가?
• RQ3 외부 도메인 데이터에서 테스트했을 때 전통적 기계학습 모델과 딥 트랜스퍼 러닝 모델의 상대적 강건성은 어떠한가?
• RQ4 저샘플 설정에서 모델 성능, 추론 비용, 인간의 노력(예: 초파라미터 튜닝, 특징 공학) 간의 실질적 상충 관계는 무엇인가?

주요 결과

• BERT는 1개 클래스당 레이블된 예제가 100개뿐일 때 최상위 전통적 기계학습 모델보다 평균 9.7% 높은 성능을 보였다.
• 학습 데이터가 1000개로 증가했을 때 성능 격차는 1.8%로 좁혀졌으며, 이는 스케일이 증가함에 따라 트랜스퍼 러닝의 수익 감소 경향을 시사한다.
• 딥 트랜스퍼 러닝 모델은 강력한 도메인 간 강건성을 보였으며, 도메인 간 최대 정확도 하락률이 3.2%에 불과했고, 전통적 모델은 최대 20.6%까지 하락하였다.
• 전통적 모델은 도메인 이동에 더 민감했으며, 특히 슬랭이나 비공식어가 많은 도메인에서는 어휘 외부 토큰 처리에 취약했다.
• BERT의 WordPiece 토크나이제이션은 전통적 모델의 표준 서브워드 또는 워드 수준 토크나이제이션보다 희귀어나 어휘 외부 단어를 더 잘 처리했다.
• 비록 하드웨어 요구사항이 높았음(예: BERT-base에 12GB VRAM 필요), 그러나 딥 트랜스퍼 러닝은 특징 공학 및 초파라미터 튜닝에 소요되는 인간의 노력이 줄어들어, 장기적으로 생산 환경에서 비용 절감 효과를 가져왔다.