[논문 리뷰] A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification

Shuming Ma, Xu Sun외 2명|arXiv (Cornell University)|2018. 05. 03.

Topic Modeling참고 문헌 10인용 수 5

한 줄 요약

이 논문은 생성적 텍스트 요약과 감성 분류를 동시에 학습하기 위해 계층적 엔드 투 엔드 딥 러닝 모델을 제안한다. 감성 분류를 생성된 텍스트 요약의 고수준 '요약'으로 구조화함으로써, 두 작업 간의 공유 표현을 다중 시각 주의 메커니즘을 통해 유도하여 수작업 특징 없이도 두 작업에서 모두 성능 향상을 이룬다. 특히 아마존 리뷰 데이터셋에서 뚜렷한 성능 향상이 관찰된다.

ABSTRACT

Text summarization and sentiment classification both aim to capture the main ideas of the text but at different levels. Text summarization is to describe the text within a few sentences, while sentiment classification can be regarded as a special type of summarization which "summarizes" the text into a even more abstract fashion, i.e., a sentiment class. Based on this idea, we propose a hierarchical end-to-end model for joint learning of text summarization and sentiment classification, where the sentiment classification label is treated as the further "summarization" of the text summarization output. Hence, the sentiment classification layer is put upon the text summarization layer, and a hierarchical structure is derived. Experimental results on Amazon online reviews datasets show that our model achieves better performance than the strong baseline systems on both abstractive summarization and sentiment classification.

연구 동기 및 목표

• 텍스트 요약과 감성 분류를 별도로 학습할 경우 상호작용이 부족해 성능이 최적화되지 않는 문제를 해결하기 위해.
• 감성 분류를 고수준의 요약 작업으로 통합하여, 감성 레이블을 요약의 압축된 형태로 간주하기 위해.
• 공유된 계층적 표현을 통해 요약 및 감성 분류 성능을 향상시켜 일관성과 관련성 향상을 도모하기 위해.
• 수작업 특징에 의존하지 않고 양자 모두를 동시에 학습할 수 있는 엔드 투 엔드 학습 프레임워크를 설계하기 위해.
• 요약과 감성 분류 간 상호 감시가 두 작업의 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• 모델은 텍스트 요약 레이어와 그 다음에 감성 분류 레이어를 갖는 계층적 아키텍처를 사용하며, 감성 예측은 생성된 요약에 기반한다.
• 공유된 인코더 출력에서 요약과 감성 분류를 위한 별도의 문맥 표현을 생성하기 위해 다중 시각 주의 메커니즘을 도입한다.
• 인코더는 양방향 LSTM을 사용해 입력 텍스트를 처리하여 문맥 기반 단어 표현을 생성한다.
• 디코더는 인코더 상태에 대한 주의 메커니즘을 사용해 자동으로 순차적으로 요약을 생성하며, OOV 단어를 다루기 위해 포인터-제너레이터 메커니즘을 적용한다.
• 감성 분류기는 디코더의 최종 은닉 상태에 대해 맥스 풀링을 적용하고, 다층 퍼셉트론을 통해 감성 예측을 생성한다.
• 전체 손실 함수는 요약과 감성 분류에 대한 교차 엔트로피 손실을 조합하여 이중 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 감성 분류를 고수준의 요약 작업으로 간주할 경우, 텍스트 요약과 감성 분류 성능이 향상되는가?
• RQ2 공유된 표현을 사용한 계층적 공동 학습은 별도 학습 대비 모델 성능에 어떤 영향을 미치는가?
• RQ3 수작업 특징 없이 다중 시각 주의가 이중 작업의 표현 학습에 얼마나 기여하는가?
• RQ4 요약 구성 요소는 감성 감시에서 어떤 이점을 얻는가? 반대로 감성 분류는 요약 감시에서 어떤 이점을 얻는가?
• RQ5 엔드 투 엔드 모델은 별도로 학습된 강력한 베이스라인을 능가할 수 있는가?

주요 결과

• 제안된 모델은 아마존 온라인 리뷰 데이터셋에서 생성적 텍스트 요약과 감성 분류 작업에서 최신 기준(SOTA) 성능을 달성한다.
• 요약과 감성 분류를 별도로 학습하는 강력한 베이스라인 시스템보다 성능이 뛰어나 공동 학습의 이점을 입증한다.
• 계층적 구조 덕분에 감성 분류기는 더욱 간결하고 정보가 풍부한 요약을 바탕으로 작동하여 정확도가 향상된다.
• 요약 구성 요소는 감성 감시 덕분에 원문의 감성을 더 잘 반영하는 더 일관되고 감성 인식이 뛰어난 요약을 생성한다.
• 다중 시각 주의를 사용함으로써 요약과 감성 분류를 위한 구분되면서도 상호 보완적인 표현을 학습할 수 있어 전체 성능 향상에 기여한다.
• 모델는 수작업 특징을 전혀 사용하지 않고도 뚜렷한 성능 향상을 이뤄내어 엔드 투 엔드 공동 학습 프레임워크의 효과성을 입증한다.