[논문 리뷰] Description Based Text Classification with Reinforcement Learning

Duo Chai, Wei Wu외 3명|arXiv (Cornell University)|2020. 02. 08.

Topic Modeling참고 문헌 62인용 수 31

한 줄 요약

본 논문은 텍스트 분류를 QA 스타일 작업으로 재구성하고 각 범주에 클래스 설명을 부착함으로써 단일-레이블, 다중-레이블, 다면적 감성 작업 전반에서 성능을 향상시키기 위해 강화 학습으로 설명을 자동으로 학습한다.

ABSTRACT

The task of text classification is usually divided into two stages: {\it text feature extraction} and {\it classification}. In this standard formalization categories are merely represented as indexes in the label vocabulary, and the model lacks for explicit instructions on what to classify. Inspired by the current trend of formalizing NLP problems as question answering tasks, we propose a new framework for text classification, in which each category label is associated with a category description. Descriptions are generated by hand-crafted templates or using abstractive/extractive models from reinforcement learning. The concatenation of the description and the text is fed to the classifier to decide whether or not the current label should be assigned to the text. The proposed strategy forces the model to attend to the most salient texts with respect to the label, which can be regarded as a hard version of attention, leading to better performances. We observe significant performance boosts over strong baselines on a wide range of text classification tasks including single-label classification, multi-label classification and multi-aspect sentiment analysis.

연구 동기 및 목표

• 전통적인 레이블만으로의 분류가 무엇을 분류할지에 대한 명시적 가이던스가 부족한 한계를 다룬다.
• 각 클래스와 설명이 짝을 이루는 QA 스타일 형식을 도입한다.
• 강화 학습(발췌형 또는 추상적)으로 클래스 설명을 자동 생성한다.
• 설명 기반 분류가 중요한 텍스트에 주의를 기울이고 다양한 작업에서 성능을 향상시킴을 보인다.

제안 방법

• 분류를 각 클래스에 대해 자연어 설명 q_y 와 연관시키는 형식으로 정의한다.
• Backbone으로 BERT를 사용하고 설정에 따라 N-바이너리 분류기 또는 N-클래스 분류기를 사용한다.
• 클래스 설명을 추출하거나 생성한다; 강화 학습을 통해 설명 생성과 분류를 엔드 투 엔드로 학습한다.
• 추출의 경우, 정책을 토큰 스팬 위에서 선택하여 설명으로서 텍스트 스팬을 선택하고 분류 보상으로 REINFORCE를 최적화한다.
• 추상적 생성을 위해 REGS를 사용한 Seq2Seq 생성기와 부분 생성에 보상을 부여하고 훈련을 안정화한다.
• 세 가지 설명 구성 전략: 템플릿(Tem), 추출(Ext), 추상(Abs).

실험 결과

연구 질문

• RQ1 설명적 라벨을 범주에 첨부하는 것이 기존의 레이블 임베딩 방식에 비해 텍스트 분류 성능을 향상시키는가?
• RQ2 템플릿, 추출 스펜, 또는 추상적 생성을 통해 자동 생성된 클래스 설명이 단일-레이블, 다중-레이블, 다면적 감성 작업에 어떤 영향을 미치는가?
• RQ3 설명 품질과 생성 전략이 모델 수렴 및 데이터 효율성에 어떤 영향을 미치는가?

주요 결과

모델	AGNews	20news	DBPedia	Yahoo	YelpP	IMDB	비고
Description (Tem.)	5.2	15.8	0.65	22.1	2.2	5.8	템플릿 설명을 이용한 단일 레이블 결과; BERT보다 우수
Description (Ext.)	5.0	15.6	0.63	22.0	2.1	5.5	추출적 설명을 이용한 단일 레이블 결과; Tem.보다 개선
Description (Abs.)	5.1	15.4	0.62	21.8	2.0	5.5	추상적 설명을 이용한 단일 레이블 결과; 일부 지표에서 최상

• 설명 기반 방법은 실험된 작업에서 일관되게 BERT 베이스라인을 능가한다.
• 템플릿 설명이 BERT를 개선하고, 추출 및 추상 전략으로 추가 이점을 얻는다.
• 추출 및 추상 전략은 다중-레이블 및 다면적 작업에서 더 강한 이득을 가져오며 특정 데이터셋(예: BeerAdvocate와 TripAdvisor)에서 상당한 개선이 있다.
• 더 긴 텍스트는 설명 기반 가이던스로 더 큰 이점을 얻으며 하드 어텐션 기제로 작동한다.
• RL 기반 설명 생성을 템플릿으로 초기화할 수 있고 수렴한다는 점, 추출 방법이 추상 방법보다 더 빨리 수렴한다.
• 설명을 사용하면 AGNews, 20news, DBPedia, Yahoo, YelpP, IMDB, Reuters, AAPD, BeerAdvocate, TripAdvisor 데이터셋에서 베이스라인 대비 오차율이 감소한다.