[논문 리뷰] Label-guided Learning for Text Classification

Xien Liu, Song Wang외 4명|arXiv (Cornell University)|2020. 02. 25.

Topic Modeling참고 문헌 16인용 수 8

한 줄 요약

이 논문은 레이블 가이드드 인코딩 레이어를 통해 유니버설 텍스트 임베딩을 레이블별로 특화된 공간으로 매핑함으로써 국소적 문맥 정보와 전역적 레이블 단서를 함께 학습하는 새로운 레이블 가이드드 러닝 프레임워크인 LguidedLearn을 제안한다. 이 방법은 주목사용 인코딩을 통해 보편적인 텍스트 임베딩을 레이블 전용 공간으로 매핑함으로써 더 구분력 있는 표현을 달성하며, BiLSTM 및 LEAM과 같은 강력한 베이스라인을 여러 벤치마크 데이터셋에서 초월한다. R52에서는 최대 4.5% 향상되고, Ohsumed에서는 최대 8.8% 향상된다.

ABSTRACT

Text classification is one of the most important and fundamental tasks in natural language processing. Performance of this task mainly dependents on text representation learning. Currently, most existing learning frameworks mainly focus on encoding local contextual information between words. These methods always neglect to exploit global clues, such as label information, for encoding text information. In this study, we propose a label-guided learning framework LguidedLearn for text representation and classification. Our method is novel but simple that we only insert a label-guided encoding layer into the commonly used text representation learning schemas. That label-guided layer performs label-based attentive encoding to map the universal text embedding (encoded by a contextual information learner) into different label spaces, resulting in label-wise embeddings. In our proposed framework, the label-guided layer can be easily and directly applied with a contextual encoding method to perform jointly learning. Text information is encoded based on both the local contextual information and the global label clues. Therefore, the obtained text embeddings are more robust and discriminative for text classification. Extensive experiments are conducted on benchmark datasets to illustrate the effectiveness of our proposed method.

연구 동기 및 목표

• 대부분의 기존 텍스트 분류 모델이 표현 학습 과정에서 전역적 레이블 정보를 忽시하는 한계를 해결하기 위해.
• 인코딩 과정에 레이블 단서를 통합하여 텍스트 표현의 강건성과 구분력을 향상시키기 위해.
• 어떤 문맥 인코더 모델과도 쉽게 통합할 수 있는 단순하면서도 효과적인 프레임워크를 개발하기 위해.
• 국소적 문맥과 레이블 인식 표현을 함께 학습하는 것이 더 뛰어난 분류 성능을 이끌어낼 수 있음을 입증하기 위해.

제안 방법

• 문맥 인코더에서 생성된 보편적 텍스트 임베딩에 대해 레이블 기반 주목사용 인코딩을 수행하는 레이블 가이드드 인코딩 레이어를 도입한다.
• 각 레이블은 학습 가능한 임베딩 행렬로 표현되어, 입력 텍스트를 다수의 레이블 전용 임베딩 공간으로 매핑할 수 있도록 한다.
• 문맥 인코딩(예: BiLSTM 또는 BERT)과 레이블 가이드드 인코딩을 엔드 투 엔드로 학습 가능한 방식으로 통합한다.
• 레이블 가이드드 레이어는 쿼리-키-드롭-프로덕트 어텐션을 사용하여 단어를 레이블 표현과 정렬하고, 레이블별로 임베딩을 생성한다.
• 이 방법은 다양한 사전 학습된 문맥 인코더 모델(예: BiLSTM 및 BERT 포함)과 호환되며 모듈러한 아키텍처를 갖춘다.
• 표준 백프로파게이션을 통해 문맥 일관성과 레이블 인식 표현을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 레이블 정보를 전역적 단서로 통합함으로써 텍스트 표현 학습의 성능을 향상시킬 수 있는가?
• RQ2 기존의 문맥 인코딩만을 사용하는 것과 비교해 레이블 가이드드 인코딩은 분류 정확도에서 어떤 차이를 보이는가?
• RQ3 문맥 특징와 레이블 인식 특징를 함께 학습하는 것이 더 강건하고 구분력 있는 임베딩을 만들어내는가?
• RQ4 레이블당 임베딩 수가 모델 성능에 어떤 영향을 미치는가?
• RQ5 최근의 사전 학습된 모델들(예: BERT)과 함께 레이블 가이드드 레이어를 효과적으로 적용할 수 있는가?

주요 결과

• R52 데이터셋에서 LguidedLearn는 96.12%의 정확도를 기록하여 베이스라인 BiLSTM(90.54%)과 LEAM(91.84%)를 크게 앞서며 성능을 뛰어나게 한다.
• Ohsumed 데이터셋에서는 베이스라인 BiLSTM(49.27% 대비 69.89%)의 정확도를 10.56%포인트 향상시켰다.
• 레이블당 하나가 아닌 다섯 개의 임베딩을 사용할 경우 20NG에서 1.57% 향상(85.58% 대비 84.01%)되어 레이블 임베딩 공간 모델링의 유용성을 입증한다.
• BERT와 결합했을 경우 레이블 가이드드 레이어가 20NG에서 정확도를 67.90%(BERT)에서 78.87%로 향상시켜 강력한 사전 학습된 모델과의 호환성과 효과성을 보였다.
• 레이블당 하나의 임베딩만을 사용하는 LguidedLearn-1도 모든 데이터셋에서 LEAM를 능가하며 제안된 프레임워크 설계의 우수성을 입증한다.
• 초기 실험 결과, 다양한 데이터셋, 실세계 응용 데이터를 포함해 레이블 가이드드 레이어가 일관된 성능 향상을 가져오는 것으로 나타났다.