[논문 리뷰] A Dual Reinforcement Learning Framework for Unsupervised Text Style Transfer

Fuli Luo, Peng Li외 5명|arXiv (Cornell University)|2019. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 40

한 줄 요약

DualRL을 도입한 이중 강화학습 접근법으로, 병렬 데이터에 의존하지 않고 스타일 정확도와 콘텐츠 보존 보상에 의해 안내되며 비지도 텍스트 스타일 변환을 위해 원-스텝 소스-대상 및 대상-소스 매핑을 직접 학습한다.

ABSTRACT

Unsupervised text style transfer aims to transfer the underlying style of text but keep its main content unchanged without parallel data. Most existing methods typically follow two steps: first separating the content from the original style, and then fusing the content with the desired style. However, the separation in the first step is challenging because the content and style interact in subtle ways in natural language. Therefore, in this paper, we propose a dual reinforcement learning framework to directly transfer the style of the text via a one-step mapping model, without any separation of content and style. Specifically, we consider the learning of the source-to-target and target-to-source mappings as a dual task, and two rewards are designed based on such a dual structure to reflect the style accuracy and content preservation, respectively. In this way, the two one-step mapping models can be trained via reinforcement learning, without any use of parallel data. Automatic evaluations show that our model outperforms the state-of-the-art systems by a large margin, especially with more than 8 BLEU points improvement averaged on two benchmark datasets. Human evaluations also validate the effectiveness of our model in terms of style accuracy, content preservation and fluency. Our code and data, including outputs of all baselines and our model are available at https://github.com/luofuli/DualLanST.

연구 동기 및 목표

• 명시적 콘텐츠-스타일 분리를 피함으로써 병렬 데이터 없이 비지도 텍스트 스타일 변환을 촉진한다.
• 양방향 스타일 전송(X->Y 및 Y->X)을 위한 이중 원-스텝 매핑 프레임워크를 제안한다.
• 스타일 정확도와 콘텐츠 보존을 정량화하는 이중 보상을 설계하여 강화학습을 통한 학습 지침으로 삼는다.
• 의사 병렬 데이터로 학습을 초기화하고 점차 순수 RL 학습으로 전환하는 어닐링 의사 강제(annealing pseudo teacher-forcing)를 도입한다.

제안 방법

• 두 개의 원-스텝 seq2seq 매핑을 모델링한다: f_theta: X->Y 및 g_phi: Y->X.
• 전이된 출력에 대해 스타일 정확도 보상 R_s를 제공하기 위해 스타일 분류기를 사용한다.
• 콘텐츠 보존 보상 R_c로 역방향 재구성 확률 P(x|y')을 사용한다.
• 보상을 조화로운 전체 보상 R로 합산하여 정책 기울기(Equation 4)를 통해 f와 g를 학습한다.
• Eq.5의 스케줄과 함께 의사 병렬 데이터를 만들고 점진적으로 RL에 의존하도록 어닐링 의사 강제를 적용한다.
• 의사 병렬 데이터로 사전 학습한 후 f와 g 사이에서 RL 업데이트를 교대로 수행하여 폐회로를 형성한다(Algorithm 1).
• 백-번역에서 영감을 받은 의사 데이터 생성과 노출 편향을 완화하기 위한 어닐링 스케줄(Algorithm 2)을 사용한다.
• 자동 지표(스타일 정확도, BLEU, G2, H2) 및 Yelp(감정)와 Gyafc(격식)에 대한 인간 평가로 평가한다.

실험 결과

연구 질문

• RQ1 명시적 콘텐츠-스타일 분리 없이 이중 원-스텝 매핑 프레임워크가 비지도 텍스트 스타일 변환을 학습할 수 있는가?
• RQ2 스타일 정확도와 콘텐츠 보존에 대한 이중 보상이 비병렬 데이터에서 효과적인 RL 기반 학습을 가능하게 하는가?
• RQ3 어닐링 의사 강제가 RL을 부트스트랩하고 시간이 지남에 따라 의사 병렬 데이터에 대한 의존도를 줄이는 데 도움이 되는가?
• RQ4 Automatic 및 인간 평가에서 DualRL이 최첨단 비지도 스타일 전송 방법과 어떻게 비교되는가?

주요 결과

• DualRL은 두 데이터셋에서 자동 평가(G2 및 H2)에서 최상위 성능을 달성했고 BLEU 기반 콘텐츠 보존 지표에서 큰 향상을 보였다.
• 인간 평가에서 DualRL이 평균 점수 최상위와 더 높은 성공 전송 비율을 보였다.
• 이 방법은 스타일 정확도, 콘텐츠 보존 및 유창성을 균형 있게 조합해 감정(Yelp) 및 형식성(Gyafc) 태스크에서 여러 강력한 기준선들을 능가한다.
• 연구 제거(ablation) 연구에서 RL과 MLE의 결합(RL+MLE)이 스타일 정확도와 콘텐츠/유창성 간의 최적 트레이드오프를 제공함을 보여준다.
• 이 방법은 이중 보상으로 양방향 원스텝 매핑을 직접 학습하는 것이 선행 연구의 두 단계 또는 back-translation 기반 접근법을 능가할 수 있음을 입증한다.