[논문 리뷰] Abstractive Text Classification Using Sequence-to-convolution Neural Networks

Taehoon Kim, Jihoon Yang|arXiv (Cornell University)|2018. 05. 20.

Topic Modeling참고 문헌 35인용 수 11

한 줄 요약

이 논문은 주어진 길이의 텍스트를 추상적 요약하여 개요를 생성하고, 그 개요를 컨볼루션 신경망으로 분류하는 이중 구조의 딥러닝 모델인 Sequence-to-Convolution Neural Networks (Seq2CNN)를 제안한다. 핵심 기여는 종료형 훈련을 안정화시키고 AG’s News 데이터셋에서 최고 성능인 90.36%의 정확도를 달성하는 새로운 훈련 기법인 점진적 가중치 이동(GWS)이다. 이는 표준 TextCNN 및 GWS 없이 훈련된 모델보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a new deep neural network model and its training scheme for text classification. Our model Sequence-to-convolution Neural Networks(Seq2CNN) consists of two blocks: Sequential Block that summarizes input texts and Convolution Block that receives summary of input and classifies it to a label. Seq2CNN is trained end-to-end to classify various-length texts without preprocessing inputs into fixed length. We also present Gradual Weight Shift(GWS) method that stabilizes training. GWS is applied to our model's loss function. We compared our model with word-based TextCNN trained with different data preprocessing methods. We obtained significant improvement in classification accuracy over word-based TextCNN without any ensemble or data augmentation.

연구 동기 및 목표

• 시퀀스 길이에 따라 매개변수 의존성이 발생하는 전통적 TextCNN의 한계를 해결하기 위해 고정 길이 입력이 필요로 하는 제약을 해결한다.
• 패딩 또는 자르기 등의 사전 처리 없이 가변 길이 텍스트에서 종단간 훈련을 가능하게 한다.
• 긴 또는 가변 길이 입력에서 핵심 의미 정보를 유지하기 위해 추상적 요약 기법을 활용해 분류 성능을 향상시킨다.
• 요약 및 분류의 이중 목표를 가진 다중 작업 모델의 훈련을 안정화시키기 위해 새로운 훈련 전략을 제안한다.
• RNN 기반 추상적 요약 기법이 Extractive 방법(예: TextRank)을 초월해 후속 텍스트 분류 작업에 기여할 수 있음을 입증한다.

제안 방법

• 입력 텍스트에서 주요 내용을 유지하는 추상적 요약을 생성하기 위해 어텐션 기반 인코더-디코더 RNN(순차 블록)을 사용한다.
• 생성된 요약을 기반으로 TextCNN 기반의 분류 헤드(컨볼루션 블록)에 입력하여 텍스트 카테고리를 예측한다.
• 두 블록 간에 비정적 단어 임베딩 레이어를 공유하여 매개변수 공유 및 공동 최적화를 가능하게 한다.
• 요약 및 분류 목표 간 손실 가중치를 동적으로 균형 조절하는 새로운 훈련 전략인 점진적 가중치 이동(GWS)을 구현한다.
• 훈련 단계 동안 시퀀스 손실(요약 목적)의 가중치를 점진적으로 감소시키고 분류 손실의 가중치를 점진적으로 증가시켜 GWS를 적용한다.
• 예측된 요약 토큰과 진짜 요약 토큰 간의 단어 수준 교차 엔트로피 기반 일반 시퀀스 손실 함수를 사용하며, 향후 보조 손실을 활용한 개선이 가능하다.

실험 결과

연구 질문

• RQ1 고정 길이 모델과 비교해 가변 길이 입력에서 추상적 요약 기법이 텍스트 분류 성능 향상에 기여하는가?
• RQ2 사전 처리 없이 종단간 훈련되는 요약 및 분류의 이중 단계 모델이 표준 TextCNN보다 성능이 뛰어나지 않는가?
• RQ3 동적으로 균형 잡힌 손실 함수를 가진 다중 작업 훈련 전략이 순차-순차 분류 모델의 훈련 안정성과 수렴 성능 향상에 기여하는가?
• RQ4 기본 훈련 방식과 비교해 제안된 점진적 가중치 이동(GWS) 방법이 손실 안정성과 최종 분류 정확도 측면에서 어떤가?
• RQ5 Extractive 요약 기법(예: TextRank)이 실패하는 짧은 입력 텍스트에 대해서도 모델이 얼마나 강인한가?

주요 결과

• GWS를 사용해 훈련한 Seq2CNN는 AG’s News 데이터셋에서 테스트 정확도 90.36%를 기록했으며, GWS 없이 훈련한 동일한 모델(89.87%) 및 표준 Vanilla CNN(89.67%)보다 뚜렷이 뛰어난 성능을 보였다.
• GWS를 적용한 모델는 안정적인 훈련 손실 곡선을 보였으며, 총 손실과 시퀀스 손실 모두 부드럽게 수렴했다. 반면 GWS 없이 훈련한 모델는 2,000 스텝 이후 시퀀스 손실이 진동하는 경향을 보였다.
• Seq2CNN는 짧은 텍스트에 대해서도 강인했으며, TextRank가 출력을 생성하지 못하는 매우 짧은 입력에서도 성공적으로 요약을 생성했다.
• 앙상블 기법이나 데이터 증강 없이도 단어 기반 TextCNN보다 뛰어난 성능을 보였으며, 이는 추상적 요약과 종단간 훈련의 효과성을 시사한다.
• 추상적 요약 블록은 긴 또는 가변 길이 입력에서 핵심 내용을 효과적으로 포착했으며, 입력 길이 사전 처리 없이도 고성능 분류가 가능했다.
• 제안된 GWS 훈련 전략은 다른 순차 및 분류 목표를 가진 다중 작업 모델에 일반화 가능하며, 손실 가중치 스케줄링 조정만으로 적용이 가능하다.