[논문 리뷰] Unsupervised Text Style Transfer using Language Models as Discriminators

Zichao Yang, Zhiting Hu외 3명|arXiv (Cornell University)|2018. 05. 30.

Topic Modeling참고 문헌 44인용 수 47

한 줄 요약

본 논문은 이진 분류기를 타깃 도메인 언어 모델로 대체하여 비지도 텍스트 스타일 전이를 유도하고, 연속 근사치를 통한 엔드-투-엔드 학습을 가능하게 하며 해독, 감정 수정 및 관련 번역 전반에 걸친 성능을 향상시킨다.

ABSTRACT

Binary classifiers are often employed as discriminators in GAN-based unsupervised style transfer systems to ensure that transferred sentences are similar to sentences in the target domain. One difficulty with this approach is that the error signal provided by the discriminator can be unstable and is sometimes insufficient to train the generator to produce fluent language. In this paper, we propose a new technique that uses a target domain language model as the discriminator, providing richer and more stable token-level feedback during the learning process. We train the generator to minimize the negative log likelihood (NLL) of generated sentences, evaluated by the language model. By using a continuous approximation of discrete sampling under the generator, our model can be trained using back-propagation in an end- to-end fashion. Moreover, our empirical results show that when using a language model as a structured discriminator, it is possible to forgo adversarial steps during training, making the process more stable. We compare our model with previous work using convolutional neural networks (CNNs) as discriminators and show that our approach leads to improved performance on three tasks: word substitution decipherment, sentiment modification, and related language translation.

연구 동기 및 목표

• 평행 데이터 없이 비지도 텍스트 스타일 전이를 촉진한다.
• 내용을 보존하면서 스타일 전이를 가능하게 하도록 내용과 스타일을 분리한다.
• 안정적인 토큰 수준 피드백을 제공하는 언어 모델 기반 판별기를 도입한다.
• 이산 텍스트 생성에 대한 역전파를 가능하게 하는 연속 근사치를 개발한다.
• 해독, 감정 수정, 및 관련 언어 번역 작업에서 평가한다.

제안 방법

• 모델은 인코더를 사용해 내용을 추출하고 스타일 조건부 디코더로 전이된 텍스트를 생성한다.
• 전통적인 이진 판별기를 대상 도메인 언어 모델로 대체하여 문장 가능도를 점수화한다.
• 실제 문장과 전이된 문장을 포함한 LM 기반 손실 L_LM을 정의하여 생성 방향을 안내한다( Eq. 1–3 ).
• 이산 토큰을 통해 역전달을 가능하게 하는 연속적인 Gumbel-softmax 근사화를 적용한다 (Eq. 5).
• 두 단계 학습: 실제 데이터와 전이 데이터로 언어 모델을 업데이트한 뒤, 재구성 및 LM 기반 전이 손실로 인코더/디코더를 업데이트한다.
• 음의 샘플의 역할을 탐구하고 적대적 단계의 생략이 안정성을 향상시킨다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 대상 도메인 데이터로 학습된 언어 모델이 스타일 전이를 위한 이진 분류기보다 더 안정적이고 정보성이 높은 신호를 제공할 수 있는가?
• RQ2 연속 토큰 수준 피드백 메커니즘으로의 엔드투엔드 학습이 모든 작업에서 유창성과 스타일 정확도를 향상시키는가?
• RQ3 해독, 감정 수정 및 관련 번역에서 LM 기반 판별이 CNN 기반 판별기와 어떻게 비교되는가?
• RQ4 LM 기반 학습에서 음의 샘플 사용이 안정성과 성능에 미치는 영향은 무엇인가?

주요 결과

모델	20%	40%	60%	80%	100%
복사	64.3	39.1	14.4	2.5	0
Shen et al. 2017 ∗	86.6	77.1	70.1	61.2	50.8
LM	89.0	80.0	74.1	62.9	49.3
LM + adv	89.1	79.6	71.8	63.8	44.2

• LM 기반 판별기는 해독에서 강한 BLEU 점수를 달성했으며, 예를 들어 20% 변경에서 89.0%, 100% 변경에서 49.3%(표 1의 LM 행).
• 감정 수정에서 LM 기반 모델은 정확도와 BLEU에서 CNN 기반 기준선을 능가하며 더 나은 유창성을 보인다(예: LM: 83.3 Accu, 38.6 BLEU; LM + Classifier: 91.2 Accu, 57.8 BLEU 표 2).
• 감정 테스트에서 LM 기반 접근법은 여러 기준선보다 낮은 perplexity를 보였다(예: LM의 PPL_X 30.3, PPL_Y 42.1; 표 2).
• 관련 언어 번역 결과에서 LM 기반 방법은 BLEU 81.6(sr–bs) 및 85.5(tw–cn)를 달성하여 Shen et al. (2017)보다 우수하다(표 4).
• LM만 사용(대립적 단계 없이)은 학습의 안정성을 높이고 모든 작업에서 경쟁력 있는 성능을 제공한다.
• LM과 분류기를 결합하면 스타일 수정과 유창성을 균형 있게 조절하여 감정 전이를 더욱 개선할 수 있다(표 2의 LM + Classifier).