[논문 리뷰] Revision in Continuous Space: Fine-Grained Control of Text Style Transfer.

Dayiheng Liu, Jie Fu외 3명|arXiv (Cornell University)|2019. 05. 29.

Topic Modeling참고 문헌 20인용 수 10

한 줄 요약

이 논문은 적대적 학습이나 명시적 분리 없이 연속 공간에서 문장을 수정하는 기울기 기반 텍스트 스타일 전이 방법을 제안한다. VAE, 속성 예측기, 콘텐츠 예측기를 활용함으로써, 세 가지 벤치마크 과제에서 최신 기술 수준의 성능을 달성하면서도 스타일 전이에 대해 미세 조절 및 다중 속성 제어를 가능하게 한다.

ABSTRACT

Typical methods for unsupervised text style transfer often rely on two key ingredients: 1) seeking the explicit disentanglement of the content and the attributes, and 2) troublesome adversarial learning. In this paper, we show that neither of these components is indispensable. We propose a new framework that utilizes the gradients to revise the sentence in a continuous space during inference to achieve text style transfer. Our method consists of three key components: a variational auto-encoder (VAE), some attribute predictors (one for each attribute), and a content predictor. The VAE and the two types of predictors enable us to perform gradient-based optimization in the continuous space, which is mapped from sentences in a discrete space, to find the representation of a target sentence with the desired attributes and preserved content. Moreover, the proposed method naturally has the ability to simultaneously manipulate multiple fine-grained attributes, such as sentence length and the presence of specific words, when performing text style transfer tasks. Compared with previous adversarial learning based methods, the proposed method is more interpretable, controllable and easier to train. Extensive experimental studies on three popular text style transfer tasks show that the proposed method significantly outperforms five state-of-the-art methods.

연구 동기 및 목표

• 비적대적 학습과 콘텐츠 및 스타일의 명시적 분리에 의존하지 않는 비지도 텍스트 스타일 전이를 실현하기 위해.
• 문장 길이 및 단어 존재 여부와 같은 다양한 텍스트 속성에 대해 연속적인 세밀한 조작을 가능하게 하기 위해.
• 기존의 적대적 방법에 비해 해석 가능성, 제어 가능성, 학습 안정성을 향상시키기 위해.
• 잠재 공간에서 기울기 기반 최적화를 통해 콘텐츠 무결성을 유지하면서 고품질의 스타일 전이를 달성하기 위해.

제안 방법

• 방법은 이산 문장을 연속 잠재 공간으로 매핑하기 위해 변동형 오토인코더(VAE)를 사용한다.
• 속성 예측기는 잠재 공간 내에서 특정 스타일 속성(예: 감성, 문장 길이)을 식별하도록 훈련된다.
• 콘텐츠 예측기는 잠재 공간 내에서 콘텐츠 유사도를 측정함으로써 최적화 중 의미 유지 보장을 보장한다.
• 추론 과정에서 모델은 기울기 기반 최적화를 수행하여 잠재 표현을 목표 속성 쪽으로 수정하면서 콘텐츠 편차를 최소화한다.
• 최적화 과정은 모든 속성 예측기의 기울기 신호를 조합함으로써 다중 속성과 동시에 조정한다.
• 최종 문장은 수정된 잠재 표현에서 복호화되어 콘텐츠가 유지된 스타일이 적용된 출력을 생성한다.

실험 결과

연구 질문

• RQ1 적대적 학습이나 콘텐츠와 스타일의 명시적 분리 없이도 텍스트 스타일 전이를 달성할 수 있는가?
• RQ2 연속 공간에서 기울기 기반 수정이 텍스트 스타일에 대해 세밀하고 다중 속성 제어를 가능하게 하는가?
• RQ3 적대적 학습 기반 베이스라인에 비해 성능과 학습 안정성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ4 다중 속성을 동시에 전이하면서 콘텐츠를 얼마나 잘 유지할 수 있는가?

주요 결과

• 제안된 방법은 세 가지 인기 있는 텍스트 스타일 전이 벤치마크에서 다섯 가지 최신 기술 수준의 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 적대적 학습을 사용하지 않음으로써 학습 안정성과 해석 가능성이 향상되었으며, 뛰어난 성능를 달성했다.
• 이 프레임워크는 문장 길이 및 단어 존재 여부와 같은 다수의 세밀한 속성과 동시에 조작이 자연스럽게 가능하다.
• 다양한 속성 조합에 걸쳐 효과적이고 일관된 스타일 전이가 이루어지므로 높은 제어 가능성을 입증했다.