[논문 리뷰] Autoencoder as Assistant Supervisor: Improving Text Representation for Chinese Social Media Text Summarization

Shuming Ma, Xu Sun외 2명|arXiv (Cornell University)|2018. 05. 13.

Topic Modeling참고 문헌 26인용 수 9

한 줄 요약

이 논문은 중국어 소셜미디어 텍스트의 개괄적 요약을 위한 순서-순서 모델에서 텍스트 표현을 향상시키기 위해 요약 자동에코더를 보조 감독자로 사용하는 새로운 프레임워크인 SuperAE를 제안한다. 거리 최소화와 적대적 학습을 통해 원본 콘텐츠의 은닉 표현과 요약의 표현을 정렬함으로써, 모델은 벤치마크 데이터셋에서 기준 모델인 Seq2Seq보다 ROUGE-1 7.1점, ROUGE-2 6.1점, ROUGE-L 7.0점 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most of the current abstractive text summarization models are based on the sequence-to-sequence model (Seq2Seq). The source content of social media is long and noisy, so it is difficult for Seq2Seq to learn an accurate semantic representation. Compared with the source content, the annotated summary is short and well written. Moreover, it shares the same meaning as the source content. In this work, we supervise the learning of the representation of the source content with that of the summary. In implementation, we regard a summary autoencoder as an assistant supervisor of Seq2Seq. Following previous work, we evaluate our model on a popular Chinese social media dataset. Experimental results show that our model achieves the state-of-the-art performances on the benchmark dataset.

연구 동기 및 목표

• 개괄적 요약에서 긴 노이즈가 많은 중국어 소셜미디어 텍스트로부터 정확한 의미 표현을 학습하는 데 도전하는 것.
• 더 일관되고 간결한 요약을 감독으로 활용하여 순서-순서 모델의 내부 표현 품질을 향상시키는 것.
• 원본과 요약 간 의미 유사도에 기반해 감독 강도를 동적으로 조정하기 위해 적대적 학습을 사용하는 것.
• 벤치마크 중국어 소셜미디어 요약 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• Bi-LSTM 인코더와 디코더를 사용하여 참조 요약의 고품질 표현을 학습하기 위해 요약 자동에코더를 훈련한다.
• 원본 콘텐츠의 은닉 표현과 요약의 표현 간 L2 거리 최소화를 통해 Seq2Seq 모델을 감독한다.
• 원본 콘텐츠의 표현(가짜)과 요약의 표현(진짜)를 구분하는 디스크림ิน레이터 네트워크를 도입하여 동적 감독 강도 조정을 가능하게 한다.
• 적대적 훈련을 통해 Seq2Seq 모델의 내부 표현이 자동에코더의 표현과 유사하게 만들며 의미 정렬을 향상시킨다.
• 감독 손실을 표준 Seq2Seq 손실과 결합하고 역전파를 사용하여 엔드 투 엔드 최적화를 수행한다.
• 추론 시점에 최종 모델을 사용하여 원본 콘텐츠에서 요약을 생성하기 위해 오직 Seq2Seq 디코더만 적용한다.

실험 결과

연구 질문

• RQ1 요약 자동에코더가 순서-순서 모델의 내부 표현 향상에 효과적인 보조 감독자로 기능할 수 있는가?
• RQ2 원본 콘텐츠의 표현과 요약의 표현을 정렬하면 노이즈가 많고 긴 소셜미디어 텍스트에서 요약 성능이 향상되는가?
• RQ3 적대적 학습을 통해 원본과 요약 간 의미 유사도에 기반해 감독 강도를 동적으로 조정할 수 있는가?
• RQ4 제안된 방법이 중국어 소셜미디어 텍스트 요약 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 SuperAE 모델은 벤치마크 중국어 소셜미디어 텍스트 요약 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기준 모델인 Seq2Seq보다 ROUGE-1 7.1점, ROUGE-2 6.1점, ROUGE-L 7.0점 향상되었다.
• 모델은 자동에코더의 표현을 기반으로 한 품질 향상으로 인해 텍스트 표현 품질이 크게 향상되었으며, Amazon Fine Foods Reviews Corpus에서 2클래스 감성 정확도가 8.1%p, 5클래스 감성 정확도가 6.6%p 향상되었다.
• 적대적 학습은 의미 유사도에 따라 정렬 강도를 적응적으로 조정함으로써 낮은 유사도를 가진 원본-요약 쌍에 대한 강건성을 향상시켰다.
• 제거 실험을 통해 자동에코더 감독과 적대적 학습 구성 요소가 모두 최종 성능 향상에 기여하는 것으로 확인되었다.
• 정성적 예시 분석 결과, SuperAE는 일반적인 Seq2Seq 모델이 종종 환각되거나 관련 없는 내용을 생성하는 것과는 달리 더 정확하고 일관성 있는 요약을 생성하는 것으로 나타났다.