[논문 리뷰] FineText: Text Classification via Attention-based Language Model Fine-tuning

Yunzhe Tao, Saurabh Gupta외 4명|arXiv (Cornell University)|2019. 10. 25.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

FineText는 사전 훈련된 언어 모델에서 문맥화된 특징을 추출하여 텍스트 분류 성능을 향상시키는 어텐션 기반 미세조정 방법을 제안한다. 자기 어텐션을 적용하여 관련 표현을 선택함으로써, 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준(SoA) 성능을 달성하였으며, 이는 이전 SoA 방법 대비 상대적 향상률이 2.27%에서 25.38%에 이르렀다.

ABSTRACT

Training deep neural networks from scratch on natural language processing (NLP) tasks requires significant amount of manually labeled text corpus and substantial time to converge, which usually cannot be satisfied by the customers. In this paper, we aim to develop an effective transfer learning algorithm by fine-tuning a pre-trained language model. The goal is to provide expressive and convenient-to-use feature extractors for downstream NLP tasks, and achieve improvement in terms of accuracy, data efficiency, and generalization to new domains. Therefore, we propose an attention-based fine-tuning algorithm that automatically selects relevant contextualized features from the pre-trained language model and uses those features on downstream text classification tasks. We test our methods on six widely-used benchmarking datasets, and achieve new state-of-the-art performance on all of them. Moreover, we then introduce an alternative multi-task learning approach, which is an end-to-end algorithm given the pre-trained model. By doing multi-task learning, one can largely reduce the total training time by trading off some classification accuracy.

연구 동기 및 목표

• 사전 훈련된 언어 모델을 활용하여 최종 텍스트 분류 작업을 위한 효과적인 전이 학습 알고리즘을 개발하는 것.
• 대규모 레이블이 부여된 데이터셋과 긴 훈련 시간을 요구하는 딥 네트워크의 훈련에서 발생하는 한계를 해결하는 것.
• 어텐션 기반 메커니즘을 통한 특징 선택을 통해 정확도, 데이터 효율성, 새로운 도메인으로의 일반화 능력 향상을 위한 모델 성능 향상.
• 언어 모델과 분류기의 공동 미세조정을 통해 훈련 시간을 단축시키는 다중 작업 학습 접근법 탐색.
• 사전 훈련 데이터와 모델 아키텍처가 최종 작업 성능에 미치는 영향을 평가하는 것.

제안 방법

• 이 방법은 사전 훈련된 언어 모델의 은닉 상태에서 문맥화된 특징을 동적으로 선택하고 가중치를 부여하기 위해 자기 어텐션 메커니즘을 사용한다.
• 선택된 어텐션 가중치를 적용한 특징은 전통적인 연결 또는 풀링 전략을 대체하여 최종 텍스트 분류기의 입력 표현으로 사용된다.
• 분류를 위한 교차 엔트로피 손실과 특징 정제를 위한 언어 모델링 목표를 함께 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 다른 다중 작업 학습 프레임워크가 도입되었으며, 언어 모델과 분류기는 두 목표를 조합한 가중치 손실을 통해 공동으로 미세조정된다.
• 어텐션 메커니즘은 시퀀스 수준에서 적용되어, 분류에 관련된 중요한 토큰과 문맥적 종속성을 집중적으로 고려할 수 있도록 한다.
• 표준 사전 훈련된 언어 모델을 사용하여 평가되었으며, 여섯 개의 널리 사용되는 텍스트 분류 벤치마크에서 미세조정이 수행되었다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델에서 어텐션 기반 특징 선택이 최종 텍스트 분류 작업 성능에 미치는 영향은 무엇인가?
• RQ2 사전 훈련된 언어 모델의 어떤 요소(예: 훈련 데이터, 아키텍처)가 최종 성능에 가장 크게 기여하는가?
• RQ3 언어 모델과 분류기를 공동으로 미세조정하는 다중 작업 학습이 정확도를 희생시키지 않고 훈련 시간을 단축시킬 수 있는가?
• RQ4 ULMFiT와 ELMo와 같은 기존 최신 기술 수준(SoA) 방법과 비교해 볼 때, 제안된 방법은 정확도와 데이터 효율성 측면에서 어떻게 다른가?
• RQ5 고정 풀링 또는 연결 전략에 비해 어텐션 메커니즘이 특징의 표현 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 어텐션 기반 미세조정 방법은 AG, IMDb, DBpedia, Yelp-bi, Yelp-full, Sogou 뉴스를 포함한 여섯 개의 벤치마크 데이터셋에서 모두 새로운 최신 기술 수준 성능을 달성하였다.
• Yelp-bi 데이터셋에서, 이 방법은 ULMFiT 대비 16.88%의 상대적 향상률을 기록했으며, 이전 SoA 대비 25.38% 향상되었으며, 자원이 제한된 환경에서 뚜렷한 성과를 보였다.
• Sogou 뉴스 데이터셋에서는 ULMFiT 대비 25.22%의 상대적 향상률과 이전 SoA 대비 8.15% 향상률을 기록하여, 다양한 도메인에서의 효과성을 입증하였다.
• 다중 작업 학습 변형은 AG 뉴스 데이터셋에서 총 훈련 시간을 6.5시간에서 3.5시간으로 단축시켰지만, 오차율이 5.49%로 약간 상승하였다.
• 어텐션 시각화 결과는 모델이 의미적으로 관련 있는 토큰, 예를 들어 클래스 전용 키워드에 집중하는 것을 확인하였으며, 이는 해석 가능성과 특징의 관련성 향상에 기여한다.
• 단일 자기 어텐션 레이어가 앙상블 및 멀티헤드 어텐션 변형 대비 성능 대 복잡도의 균형을 더 잘 유지하여, 최종 아키텍처에 도입하는 데 합리적인 근거를 제공한다.