[논문 리뷰] Style Transfer in Text: Exploration and Evaluation

Zhenxin Fu, Xiaoye Tan외 3명|arXiv (Cornell University)|2017. 11. 18.

Topic Modeling참고 문헌 31인용 수 29

한 줄 요약

이 논문은 병렬 학습 데이터가 없는 조건에서, 적대적 훈련을 통해 내용과 스타일 표현을 분리하는 두 가지 딥러닝 모델—다중 디코더 및 스타일 임베딩—을 제안한다. 적대적 훈련을 통해 내용과 스타일 표현을 분리하고, 텍스트 스타일 전이 작업(논문-뉴스 제목 전이 및 감성 전이 등)에서 효과적인 내용 유지와 스타일 전이를 보여주는 두 가지 새로운 평가 지표인 전이 강도와 내용 유지도를 도입한다. 특히 내용 유지도 지표는 인간 평가와 높은 상관관계를 보이며, 자동 평가 지표로서의 신뢰성을 입증한다.

ABSTRACT

Style transfer is an important problem in natural language processing (NLP). However, the progress in language style transfer is lagged behind other domains, such as computer vision, mainly because of the lack of parallel data and principle evaluation metrics. In this paper, we propose to learn style transfer with non-parallel data. We explore two models to achieve this goal, and the key idea behind the proposed models is to learn separate content representations and style representations using adversarial networks. We also propose novel evaluation metrics which measure two aspects of style transfer: transfer strength and content preservation. We access our models and the evaluation metrics on two tasks: paper-news title transfer, and positive-negative review transfer. Results show that the proposed content preservation metric is highly correlate to human judgments, and the proposed models are able to generate sentences with higher style transfer strength and similar content preservation score comparing to auto-encoder.

연구 동기 및 목표

• 비병렬 코퍼스의 부족 문제를 해결하기 위해 병렬 데이터 없이도 학습이 가능한 방법을 제공한다.
• 스틸 전이에 대한 신뢰할 수 있는 평가 지표를 개발하여 전이 강도와 내용 유지도에 중점을 둔다.
• 적대적 훈련과 다중 작업 학습을 활용해 내용과 스타일 표현을 분리하는 모델을 설계한다.
• 실세계 스타일 전이 작업(논문-뉴스 제목 전이 및 감성 전이)에 대해 모델을 벤치마킹한다.
• 향후 연구를 지원하기 위해 공개 가능한 데이터셋을 제공한다.

제안 방법

• 공유 인코더가 내용을 캐릭터라이즈하고, 여러 디코더가 서로 다른 스타일로 출력을 생성하는 다중 디코더 시퀀스-투-시퀀스 모델을 제안한다.
• 내용 표현과 학습 가능한 스타일 임베딩을 결합한 스타일 임베딩 모델을 도입한다.
• 내용 표현이 스타일에 영향을 받지 않도록 보장하기 위해 적대적 네트워크를 활용하여 표현 분리를 확보한다.
• 공유 및 작업별 전용 파rameter를 공유하는 다중 작업 학습을 통해 내용 및 스타일 표현 학습을 동시에 수행한다.
• 스타일을 구분할 수 있는 분류기 헤드에 적대적 손실을 적용하여 내용 표현이 스타일 정보를 포함하지 않도록 보장한다.
• 문장 임베딩 유사도 기반의 내용 유지도 지표를 도입하고, 인간 평가 결과와의 검증을 수행한다.

실험 결과

연구 질문

• RQ1 비병렬 학습 데이터 없이도 효과적인 텍스트 스타일 전이를 달성할 수 있는가?
• RQ2 텍스트 표현에서 내용과 스타일을 효과적으로 분리할 수 있는가?
• RQ3 기본 참조 데이터가 없는 상황에서 전이 강도와 내용 유지도를 신뢰성 있게 측정할 수 있는 평가 지표는 무엇인가?
• RQ4 다양한 스타일 전이 작업에서 다중 디코더 모델과 스타일 임베딩 모델 간의 성능 및 일반화 능력은 어떻게 비교되는가?
• RQ5 제안된 평가 지표가 인간 평가와 얼마나 높은 상관관계를 보이는가?

주요 결과

• 제안된 내용 유지도 지표는 인간 평가와 높은 상관관계를 보이며, 자동 평가 지표로서의 신뢰성을 입증한다.
• 스타일 임베딩 모델은 다양한 초모델 설정에서 내용 유지도 점수 0.89~0.95와 전이 강도 0.2~0.6을 기록하여 다양한 환경에서 뛰어난 성능을 보인다.
• 다중 디코더 모델는 스타일 임베딩 모델 대비 더 높은 전이 강도를 기록하지만 내용 유지도는 낮아, 아키텍처 설계에서의 상호 보완적 특성이 드러난다.
• 긍정-부정 리뷰 전이 작업에서 다중 디코더 모델는 전이 강도와 내용 유지도 양면에서 스타일 임베딩 모델을 능가하며, 평가 그래프에서 빨간 선(다중 디코더)이 초록 선(스타일 임베딩) 위에 위치한다.
• 내용 유지도의 하한선은 논문-뉴스 전이 작업에서 0.609, 감성 전이 작업에서 0.863로 추정되며, 두 모델 모두 이 하한선을 크게 초월해 효과적인 내용 유지가 이루어졌음을 확인한다.
• 정성적 분석 결과, 오토인코더는 동일한 출력을 생성하지만, 제안된 모델들은 핵심 단어나 어구만 수정하여 스타일을 전환하면서 대부분의 내용을 유지함을 보여준다.