[논문 리뷰] Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus

Hongyu Gong, Suma Bhat외 3명|arXiv (Cornell University)|2019. 03. 26.

Topic Modeling참고 문헌 38인용 수 9

한 줄 요약

이 논문은 병렬 훈련 코퍼스가 없는 환경에서 강화학습 기반 텍스트 스타일 전이 모델을 제안한다. 생성자-평가자 프레임워크를 사용하며, 적대적 스타일 식별, 워드 무버의 거리(WMD)를 통한 의미 유사도, 어휘 모델을 통한 유창성 평가를 포함한다. 이 방법은 감성 전이 및 형식성 전이 작업에서 최신 기술 수준의 성능을 달성하며, 다양한 평가 지표를 통합한 엔드 투 엔드 강화학습 최적화를 통해 콘텐츠 보존, 전이 강도, 유창성 측면에서 이전 방법들을 능가한다.

ABSTRACT

Text style transfer rephrases a text from a source style (e.g., informal) to a target style (e.g., formal) while keeping its original meaning. Despite the success existing works have achieved using a parallel corpus for the two styles, transferring text style has proven significantly more challenging when there is no parallel training corpus. In this paper, we address this challenge by using a reinforcement-learning-based generator-evaluator architecture. Our generator employs an attention-based encoder-decoder to transfer a sentence from the source style to the target style. Our evaluator is an adversarially trained style discriminator with semantic and syntactic constraints that score the generated sentence for style, meaning preservation, and fluency. Experimental results on two different style transfer tasks (sentiment transfer and formality transfer) show that our model outperforms state-of-the-art approaches. Furthermore, we perform a manual evaluation that demonstrates the effectiveness of the proposed method using subjective metrics of generated text quality.

연구 동기 및 목표

• 병렬 훈련 코퍼스가 제공되지 않는 상황에서 텍스트 스타일 전이 문제를 해결하기 위해.
• 기울기 전파가 가능한 손실 함수에 의존하지 않고도 콘텐츠 보존, 스타일 전이 강도, 유창성을 향상시키기 위해.
• 비미분 가능 평가 지표(예: 의미 유사도, 유창성)를 강화학습을 통해 훈련 목표에 효과적으로 통합하기 위해.
• 스타일, 의미, 유창성 등의 다양한 제약 모듈을 통합한 통합 훈련 과정을 가능하게 하는 유연한 프레임워크를 개발하기 위해.

제안 방법

• 생성자는 소스 스타일 문장을 타겟 스타일로 변환하는 어텐션 기반 시퀀스-투-시퀀스 모델이다.
• 평가자에는 세 가지 구성 요소가 포함된다: 타겟 스타일 문장을 식별하기 위해 적대적으로 훈련된 스타일 식별기, 의미 유사도를 위한 워드 무버의 거리(WMD) 모듈, 유창성 점수를 위한 언어 모델.
• 강화학습은 평가자의 점수에서 유도된 보상 값을 사용해 생성자를 업데이트하며, 이는 비미분 가능 지표를 통한 최적화를 가능하게 한다.
• 스타일 식별기는 실제 타겟 스타일 문장과 생성된 문장을 구분하기 위해 적대적으로 훈련되어 스타일 분류의 강건성과 정확도를 향상시킨다.
• 의미 보존은 WMD를 통해 구현되며, 병렬 데이터가 필요 없이 소스 문장과 생성된 문장 간의 의미 유사도를 계산한다.
• 유창성은 사전 훈련된 언어 모델을 사용해 생성된 문장의 문법적·구문적 품질을 평가한다.

실험 결과

연구 질문

• RQ1 비병렬 훈련 코퍼스에 접근할 수 없는 환경에서 강화학습 프레임워크가 효과적으로 텍스트 스타일 전이를 수행할 수 있는가?
• RQ2 병렬 예제가 제공되지 않을 경우, 모델이 스타일 전이를 수행하면서도 의미 콘텐츠를 얼마나 잘 보존할 수 있는가?
• RQ3 WMD나 언어 모델 점수와 같은 비미분 가능 평가 지표를 스타일 전이의 훈련 목표에 효과적으로 통합할 수 있는가?
• RQ4 제안된 방법은 콘텐츠 보존, 전이 강도, 유창성 측면에서 기존 방법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• 감성 전이 작업에서 제안된 모델는 콘텐츠 보존과 스타일 전이 강도의 균형을 잘 유지하며 가장 높은 총점수를 기록했으며, 크로스 어텐션(CA) 및 멀티디코더 시퀀스-투-시퀀스(MDS) 기반 모델을 모두 능가했다.
• 형식성 전이 작업에서 모델는 가장 높은 총점수와 가장 낮은 퍼플렉서티를 기록했으며, 콘텐츠 보존, 전이 강도, 유창성 측면에서 뛰어난 성능을 보였다.
• 비공식어에서 공식어로의 전이 방향은 반대 방향보다 훨씬 어려웠으며, 이는 비공식 텍스트의 더 큰 다양성과 철자 오류의 영향일 가능성이 있다.
• 수동 평가 결과, 모델가 생성한 문장들은 평균 6점 만점에 4.5점 이상을 기록하며 콘텐츠 유사도, 스타일 전이 강도, 유창성 측면에서 높은 평가를 받았다.
• 모델는 어휘 교체, 단어 제거, 단어 삽입, 문장 구조 변경 등의 다양한 리라이팅 전략을 성공적으로 적용해 스타일 전이를 달성했다.