[논문 리뷰] Learning Robust, Transferable Sentence Representations for Text Classification

Wasi Uddin Ahmad, Xueying Bai외 2명|arXiv (Cornell University)|2018. 09. 28.

Topic Modeling참고 문헌 38인용 수 3

한 줄 요약

이 논문은 다중 작업 학습 프레임워크를 제안하여 여러 텍스트 분류 데이터셋에서 문장 인코더를 동시에 훈련시켜 일반적인 언어적 특징과 작업별 지식을 분리함으로써 강건하고 이식 가능한 문장 표현을 학습한다. 사전 훈련된 컨텍스트 기반 단어 임베딩(EMLo)과 다른 다중 작업 문장 인코더(GenSen)의 표현을 결합함으로써, 15개의 전이 학습 작업과 10개의 언어적 탐색 작업에서 최신 기술(SOTA) 성능을 달성하며, 뛰어난 샘플 효율성과 일반화 능력을 입증한다.

ABSTRACT

Despite deep recurrent neural networks (RNNs) demonstrate strong performance in text classification, training RNN models are often expensive and requires an extensive collection of annotated data which may not be available. To overcome the data limitation issue, existing approaches leverage either pre-trained word embedding or sentence representation to lift the burden of training RNNs from scratch. In this paper, we show that jointly learning sentence representations from multiple text classification tasks and combining them with pre-trained word-level and sentence level encoders result in robust sentence representations that are useful for transfer learning. Extensive experiments and analyses using a wide range of transfer and linguistic tasks endorse the effectiveness of our approach.

연구 동기 및 목표

• 텍스트 분류에서 레이블이 부족한 데이터 문제를 해결하기 위해, 다시 훈련하지 않고도 이식 가능한 문장 표현을 학습한다.
• 다양한 이질적인 텍스트 분류 데이터셋에서 동시에 학습함으로써 문장 표현의 강건성과 이식 가능성 향상.
• 다중 작업 학습 프레임워크 내에서 적대적 훈련을 활용해 일반적인 언어적 특징(예: 문법, 의미)과 작업별 지식을 분리한다.
• 사전 훈련된 컨텍스트 기반 단어 임베딩(ELMo)과 보완적인 다중 작업 문장 인코더(GenSen)를 문장 수준 표현과 융합하여 성능 향상.

제안 방법

• SNLI(자연어 추론), QQP(질문 유사성), 그리고 세 번째 다양한 텍스트 분류 데이터셋을 포함한 세 개의 대규모 텍스트 분류 데이터셋에서 다중 작업 문장 인코더를 훈련시켜 도메인 다양성을 확보한다.
• 공유된 표현과 작업별 표현을 분리하기 위해 적대적 훈련 전략을 적용함으로써 일반화 및 이식 가능성 향상.
• 일반적인 언어적 특징을 위한 공유 인코더와 도메인별 지식을 위한 전용 인코더를 사용하며, 전이 작업에 따라 기여도를 동적으로 가중하는 어텐션 기반 융합을 적용한다.
• MTL 기반 문장 인코더를 ELMo(컨텍스트 기반 단어 임베딩)와 GenSen(다중 작업 문장 인코더)와 융합하여 통합된 문장 표현 모델을 구성한다.
• 간단한 분류기 헤드를 사용하여 최종 전이 작업에 통합 인코더를 적용함으로써, 최소한의 레이블 데이터로도 엔드 투 엔드 미세조정이 가능하다.
• 학습된 표현이 포괄하는 언어적 특성(예: 문법, 의미) 분석을 위해 언어적 탐색 작업을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 텍스트 분류 작업에서 동시에 문장 표현을 학습하는 것이 단일 작업 사전 훈련 대비 강건성과 이식 가능성 향상에 기여하는가?
• RQ2 적대적 훈련이 다중 작업 학습 프레임워크 내에서 문장 인코더의 일반적인 언어적 특징과 작업별 지식을 효과적으로 분리하는가?
• RQ3 통합된 문장 표현과 컨텍스트 기반 단어 표현이 전이 학습 및 탐색 작업에서 개별 구성 요소보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 레이블 데이터가 부족한 상황에서 제안된 방법의 샘플 효율성은 어떠한가?
• RQ5 제안된 통합 문장 인코더가 가장 잘 포착하는 언어적 특성(예: 문법적, 의미적)은 무엇인가?

주요 결과

• MTL 기반 문장 인코더(Sent2Vec)는 InferSent와 같은 단일 작업 모델보다 우수하며, ELMo와 GenSen와 융합했을 때 15개의 전이 학습 작업에서 최신 기술(SOTA) 성능을 달성했으며, SST-2 데이터셋에서 평균 정확도 91.0을 기록했다.
• 통합 인코더(Sent2Vec + GenSen + ELMo)는 모든 10개의 언어적 탐색 작업에서 최고 성능을 기록했으며, CoordInv에서 평균 정확도 73.3, SOMO에서 71.1을 기록하여 ELMo와 InferSent를 모두 초월했다.
• SST-2 및 SICK-E 작업에서 제안된 방법은 레이블 데이터가 5,000개 미만일 때도 뛰어난 샘플 효율성을 보이며, 다시 훈련하는 것보다 높은 성능을 달성했다.
• 적대적 훈련은 공유 인코더의 어텐션 가중치가 대부분의 전이 작업에서 낮아짐으로써 일반적 표현과 작업별 표현의 효과적인 분리가 이루어졌음을 확인했다.
• 대부분의 전이 작업에서 SNLI 전용 인코더가 높은 어텐션 가중치를 확보함으로써, 다양한 텍스트 분류 작업에 대해 강력한 일반화 능력을 지닌다는 것이 확인되었다.
• MTL 문장 인코더를 ELMo와 GenSen와 융합하면 최고의 종합 성능을 기록하며, 서로 다른 사전 훈련 목표에서 유래한 보완적인 학습 신호가 강건성과 이식 가능성 향상에 기여한다는 점을 입증했다.