[논문 리뷰] Sentiment Transfer using Seq2Seq Adversarial Autoencoders

Ayush Singh, Ritu Palod|arXiv (Cornell University)|2018. 04. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 10

한 줄 요약

이 논문은 비병렬 텍스트를 사용하여 비지도 학습으로 감성 전이를 수행하기 위한 seq2seq 적대적 오토인코더 모델을 제안한다. 적대적 훈련을 통해 콘텐츠와 스타일 표현을 분리하며, 의미적 콘텐츠를 유지하면서도 67%의 감성 전이 정확도를 달성하여 병렬 코퍼스 없이도 효과적인 스타일 전이를 입증한다.

ABSTRACT

Expressing in language is subjective. Everyone has a different style of reading and writing, apparently it all boil downs to the way their mind understands things (in a specific format). Language style transfer is a way to preserve the meaning of a text and change the way it is expressed. Progress in language style transfer is lagged behind other domains, such as computer vision, mainly because of the lack of parallel data, use cases, and reliable evaluation metrics. In response to the challenge of lacking parallel data, we explore learning style transfer from non-parallel data. We propose a model combining seq2seq, autoencoders, and adversarial loss to achieve this goal. The key idea behind the proposed models is to learn separate content representations and style representations using adversarial networks. Considering the problem of evaluating style transfer tasks, we frame the problem as sentiment transfer and evaluation using a sentiment classifier to calculate how many sentiments was the model able to transfer. We report our results on several kinds of models.

연구 동기 및 목표

• 비병렬 코퍼스에서 비지도 학습을 가능하게 하여 텍스트 스타일 전이의 병렬 데이터 부족 문제를 해결한다.
• 감성 전이를 위한 적대적 오토인코더를 활용해 텍스트 내 콘텐츠와 스타일 표현을 분리한다.
• 감성 분류기를 활용한 평가 방법을 개발하여 감성 전이의 신뢰성 있는 평가를 수행한다.
• 감성 전이 시 일반화 능력과 콘텐츠 유지 능력을 향상시킨다.
• 적대적 훈련과 오토인코더 아키텍처가 시퀀스 투 시퀀스 생성에서 감성 전이에 미치는 영향을 탐색한다.

제안 방법

• 콘텐츠 인코더를 공유하고 스타일 전용 디코더를 다수 갖춘 seq2seq 오토인코더를 사용하여 콘텐츠와 스타일 표현을 분리한다.
• 생성자 모델이 실제와 유사한 스타일 전이를 생성하면서도 콘텐츠를 유지하도록 적대적 손실을 적용한다.
• 감성 분류기를 디스커미네이터로 활용하여 감성 이동을 최적화함으로써 스타일 전이를 강제한다.
• 재구성 손실과 적대적 손실을 최소화하기 위해 백프로파게이션과 경사 하강법을 사용해 모델을 종합적으로 훈련한다.
• 유사한 길이의 문장을 동적으로 배치하여 훈련 효율을 향상시킨다.
• Yelp 리뷰를 전처리하여 중립 문장을 제외한 양성/음성 감성으로 필터링하고, 소문자로 변환하고, 숫자를 대체하며,标 punctuations을 제거하고, 빈도가 높은 10,000개의 단어로 어휘를 제한한다.

실험 결과

연구 질문

• RQ1 적대적 오토인코더를 사용하여 병렬 훈련 데이터 없이도 감성 전이를 효과적으로 수행할 수 있는가?
• RQ2 콘텐츠-스타일 표현을 분리한 모델이 감성 전이 과정에서 의미적 의미를 얼마나 잘 유지하는가?
• RQ3 적대적 훈련이 전이된 텍스트의 품질과 일관성에 어떤 영향을 미치는가?
• RQ4 감성 전이 정확도와 인간이 평가한 유창성 측면에서 모델의 성능은 어떠한가?
• RQ5 콘텐츠 무결성을 유지하면서도 다양한 감성 극성으로 일반화할 수 있는가?

주요 결과

• 제안된 모델은 67%의 감성 전이 정확도를 달성하여 병렬 데이터 없이도 효과적인 스타일 전이를 입증하였다.
• 정성적 분석 결과, 오토인코더 모델이 감성 전이 과정에서 일관성 있고 자연스럽고 의미가 유지된 출력을 생성하였다.
• 기본 seq2seq 및 축소된 모델은 종종 몇 가지 핵심 단어만 교체하여 덜 일관되거나 일관성 없는 스타일 전이를 유도하였다.
• 양방향 및 축소된 양방향 모델은 간단한 베이스라인 대비 더 높은 유창성과 콘텐츠 유지 능력을 보였다.
• 입력과 출력 간 일관된 의미적 구조를 통해 모델이 핵심 콘텐츠를 성공적으로 유지하면서 감성 전이를 수행함을 입증하였다.
• 유사 길이의 문장으로 구성된 동적 배치 전략이 훈련 효율을 두 배로 향상시켰다.