[논문 리뷰] Unpaired Sentiment-to-Sentiment Translation: A Cycled Reinforcement Learning Approach

Jingjing Xu, Xu Sun외 5명|arXiv (Cornell University)|2018. 05. 14.

Topic Modeling참고 문헌 12인용 수 58

한 줄 요약

이 논문은 무쌍 데이터에서 중립화 모듈과 감정화 모듈을 갖춘 순환 강화 학습 프레임워크를 도입하여 감정 대 감정 번역을 수행하고, 콘텐츠 보존은 최상위 수준이며 감정 전이도 경쟁력 있게 달성한다.

ABSTRACT

The goal of sentiment-to-sentiment "translation" is to change the underlying sentiment of a sentence while keeping its content. The main challenge is the lack of parallel data. To solve this problem, we propose a cycled reinforcement learning method that enables training on unpaired data by collaboration between a neutralization module and an emotionalization module. We evaluate our approach on two review datasets, Yelp and Amazon. Experimental results show that our approach significantly outperforms the state-of-the-art systems. Especially, the proposed method substantially improves the content preservation performance. The BLEU score is improved from 1.64 to 22.46 and from 0.56 to 14.06 on the two datasets, respectively.

연구 동기 및 목표

• 콘텐츠 보존을 포함한 스타일 전환의 한 형태로서 감정 대 감정 번역을 동기화한다.
• 순환형 강화 학습 설정을 제안하여 병렬 데이터의 부족 문제를 극복한다.
• 번역 품질 향상을 위해 중립화 모듈을 통해 감정과 내용을 명시적으로 분리한다.
• 학습 부트스트랩을 위해 자체 주의 기반 감정 분류기로 모듈을 사전 학습한다.
• Yelp 및 Amazon 리뷰 데이터셋에서 우수한 콘텐츠 보존을 입증한다.

제안 방법

• 두 모듈 아키텍처: 정서를 필터링해 비감정적 내용을 추출하는 중립화 모듈과 중립 콘텐츠에 목표 감정을 주입하는 감정화 모듈.
• 두 모듈을 감독 학습 목표로 사전 학습하고; 중립화를 안내하기 위해 자체 주의 기반 감정 분류기를 사용한다.
• 감정화는 목표 감정에 조건화된 텍스트를 생성하기 위해 이중 디코더 seq2seq 프레임워크를 사용한다.
• 순환 강화 학습: 감정 정확도와 BLEU 기반 콘텐츠 보존으로부터의 보상으로 정책 경사로 중립화를 학습하고, 감정화 출력에 의해 유도된다.
• 보상은 감정 신뢰도와 BLEU를 고조화 평균으로 결합해 학습을 유도한다 (R = (1+β^2) * BLEU * Confid / (β^2 * BLEU + Confid)).
• 병렬 문장 쌍 없이 학습하기 위해 무쌍 데이터(감정 라벨이 있는 리뷰)를 활용한다.

실험 결과

연구 질문

• RQ1 무쌍 감정 데이터를 사용하여 콘텐츠를 보존하면서 감정 대 감정 번역을 수행할 수 있는가?
• RQ2 감정과 내용을 중립화를 통해 명시적으로 분리하는 것이 콘텐츠 보존 및 전반적인 번역 품질을 향상시키는가?
• RQ3 순환 강화 학습이 중립화 및 감정화 모듈을 함께 학습하는 데 얼마나 효과적인가?
• RQ4 자체 주의 감정 분류기로 사전 학습하는 것이 최종 성능에 어떤 영향을 주는가?
• RQ5 제안한 방법이 Yelp 및 Amazon 데이터셋에서 최첨단 기준과 비교해 어떤가?

주요 결과

Dataset	ACC	BLEU	G-score
Yelp	80.00	22.46	42.38
Amazon	70.37	14.06	31.45

• 기준선에 비해 콘텐츠 보존이 크게 향상(BLEU 점수가 현저히 더 높음).
• 자동 평가에서 강한 콘텐츠 보존을 가진 감정 전이 정확도가 경쟁적(G-score가 Yelp 및 Amazon에서 우수)으로 나타남.
• 인간 평가에서 제안된 방식이 기준선보다 더 나은 시맨틱 보존을 확인.
• 제안된 방법에서 Yelp에서 BLEU 점수가 1.64에서 22.46으로, Amazon에서 0.56에서 14.06으로 향상.
• 제안된 방법이 평가된 시스템 중 두 데이터셋에서 전체 성능(G-score)에서 최고를 달성.
• 중립화 모듈이 감정적 단어를 효과적으로 필터링하여 감정화를 더 잘 수행하도록 함.