[논문 리뷰] Revision in Continuous Space: Unsupervised Text Style Transfer without Adversarial Learning

Dayiheng Liu, Jie Fu외 3명|arXiv (Cornell University)|2019. 05. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 4

한 줄 요약

이 논문은 적대적 학습과 명시적 분리 없이 기울기 기반 최적화를 사용하여 연속 공간에서 문장을 수정하는 새로운 비지도 텍스트 스타일 전이 프레임워크를 제안한다. VAE, 속성 예측기, 콘텐츠 예측기를 활용함으로써 제어 가능하고 해석 가능하며 다중 속성 스타일 전이가 가능하며, 세 가지 벤치마크 작업에서 다섯 가지 최신 기법보다 뛰어난 성능을 보였다.

ABSTRACT

Typical methods for unsupervised text style transfer often rely on two key ingredients: 1) seeking the explicit disentanglement of the content and the attributes, and 2) troublesome adversarial learning. In this paper, we show that neither of these components is indispensable. We propose a new framework that utilizes the gradients to revise the sentence in a continuous space during inference to achieve text style transfer. Our method consists of three key components: a variational auto-encoder (VAE), some attribute predictors (one for each attribute), and a content predictor. The VAE and the two types of predictors enable us to perform gradient-based optimization in the continuous space, which is mapped from sentences in a discrete space, to find the representation of a target sentence with the desired attributes and preserved content. Moreover, the proposed method naturally has the ability to simultaneously manipulate multiple fine-grained attributes, such as sentence length and the presence of specific words, when performing text style transfer tasks. Compared with previous adversarial learning based methods, the proposed method is more interpretable, controllable and easier to train. Extensive experimental studies on three popular text style transfer tasks show that the proposed method significantly outperforms five state-of-the-art methods.

연구 동기 및 목표

• 적대적 학습의 한계, 즉 학습 불안정성과 열악한 분리 성능를 해결하기 위해.
• 비지도 텍스트 스타일 전이에서 콘텐츠-스타일 분리가 명시적으로 필요로 하지 않도록 하기 위해.
• 감정, 문장 길이, 키워드 존재 여부와 같은 세밀한 속성들을 동시에 제어할 수 있도록 하기 위해.
• 추론 시 기울기 최적화를 통해 문장 표현을 수정하여 설명 가능성과 제어 가능성을 향상시키기 위해.
• 쌍방향 학습 데이터가 필요 없이도 텍스트 스타일 전이 작업에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 변동형 오토인코더(VAE)는 이산 문장을 부드러운 연속 잠재 공간으로 매핑하고, 잠재 표현에서 문장을 재구성한다.
• 속성 예측기는 연속 잠재 표현에서 특정 속성(예: 감정, 길이)을 예측하도록 훈련된다.
• 콘텐츠 예측기는 생성된 문장의 Bag-of-Words(BoW) 특징을 예측하여 콘텐츠 유지 및 키워드 포함을 강제한다.
• 추론 과정에서 입력 문장의 잠재 표현은 속성 예측기 및 콘텐츠 예측기의 손실을 사용해 기울기 하강법으로 수정된다.
• 최적화 과정은 반복적으로 잠재 코드를 조정하여 속성 및 콘텐츠 예측 오차를 최소화하며, 원하는 스타일을 가진 목표 문장을 도출한다.
• 다양한 속성에 대한 손실 항목을 최적화 목표에 통합함으로써 다중 속성 제어가 자연스럽게 가능해진다.

실험 결과

연구 질문

• RQ1 적대적 학습이나 콘텐츠와 스타일의 명시적 분리를 필요로 하지 않고도 텍스트 스타일 전이를 달성할 수 있는가?
• RQ2 연속 공간에서의 기울기 기반 수정이 텍스트 스타일 전이의 제어 가능성과 해석 가능성에 향상 기여할 수 있는가?
• RQ3 문장 길이 및 키워드 존재 여부와 같은 세밀한 속성을 동시에 제어할 수 있는가?
• RQ4 성능 및 학습 안정성 측면에서 기존의 최신 기반 적대적 학습 기법과 비교해 볼 때 어떻게 성능을 내는가?
• RQ5 복잡한 속성 조합을 조작할 때도 높은 자연스러움과 콘텐츠 유지 능력을 유지를 할 수 있는가?

주요 결과

• 제안된 방법은 세 가지 인기 있는 텍스트 스타일 전이 벤치마크에서 다섯 가지 최신 기법보다 뚜렷이 뛰어난 성능을 보였다.
• 감정 전이 작업에서 감정, 길이, 키워드를 동시에 제어할 경우 93.0% 정확도, 183.7 Len% 점수, 66.6 Key% 점수를 기록했다.
• 문장 길이를 줄이는 경우 87.6% 정확도, 60.9 Len% 점수, 63.0 Key% 점수를 기록하여 도전적인 제어 상황에서도 뛰어난 강건성을 보였다.
• 길이를 늘릴 때는 감정 변화가 어려운 제약 조건 하에서 길이 감소보다 더 높은 자연스러움과 콘텐츠 유지 능력을 보였다.
• 기울기 튜닝을 통해 다수의 다양한 출력을 생성할 수 있어 설명 가능성과 제어 가능성이 향상되었다.
• 제거 실험 결과 콘텐츠 예측기가 특히 복잡한 속성 조작 작업에서 콘텐츠 유지 능력을 크게 향상시킴을 확인했다.