[논문 리뷰] Multiple-Attribute Text Style Transfer

Sandeep Subramanian, Guillaume Lample외 4명|arXiv (Cornell University)|2018. 11. 01.

Topic Modeling참고 문헌 47인용 수 52

한 줄 요약

이 논문은 컨트롤 가능한 텍스트 재작성에 해리(disentanglement)가 필요하지 않다고 주장하고, 콘텐츠 보존과 스타일 변화 간의 균형을 맞추기 위해 풀링 메커니즘을 갖춘 다중 속성을 처리하는 백트랜스레이션(back-translation) 기반 모델을 제안한다.

ABSTRACT

The dominant approach to unsupervised "style transfer" in text is based on the idea of learning a latent representation, which is independent of the attributes specifying its "style". In this paper, we show that this condition is not necessary and is not always met in practice, even with domain adversarial training that explicitly aims at learning such disentangled representations. We thus propose a new model that controls several factors of variation in textual data where this condition on disentanglement is replaced with a simpler mechanism based on back-translation. Our method allows control over multiple attributes, like gender, sentiment, product type, etc., and a more fine-grained control on the trade-off between content preservation and change of style with a pooling operator in the latent space. Our experiments demonstrate that the fully entangled model produces better generations, even when tested on new and more challenging benchmarks comprising reviews with multiple sentences and multiple attributes.

연구 동기 및 목표

• 해리된 잠재 표현이 텍스트의 스타일 전기에 필수적인지 조사한다.
• 다중 속성을 제어하기 위해 백트랜스레이션을 이용한 간단하고 엔드투엔드 모델을 제안한다.
• 콘텐츠 보존과 스타일 수정을 균형 있게 조정하는 풀링 메커니즘을 도입한다.
• 다중 속성을 가진 현실적이고 전체 길이의 리뷰와 벤치마크 데이터셋에서 평가한다.
• 더 풍부하고 다중 속성 데이터를 활용한 새로운 벤치마크 설정과 인간 평가를 제공한다.

제안 방법

• 텍스트 생성기를 학습시키기 위해 온라인 백트랜스레이션과 결합된 잡음 제거 자동인코딩 손실을 사용한다.
• 명시적 적대적 해리(disentanglement)를 피하고 대신 디코더가 원래의 속성 정보를 대상 속성으로 덮어쓰도록 유도한다.
• 여러 대상 속성의 평균 임베딩을 시퀀스의 시작 기호로서 디코더의 조건으로 삼는다.
• 풀링 창 w를 사용하여 인코더에 시간적 최대풀링을 적용해 콘텐츠 보존을 제어한다.
• 512 은닉 유닛을 갖는 2층 BiLSTM 인코더와 2층 주의(attention-based) 디코더를 사용하는 인코더-디코더 아키텍처를 채택한다.
• 속성은 fastText 분류기로 평가하고, 5-gram 모델의 perplexity로 유창성을 측정하며, 콘텐츠는 참조와의 self-BLEU 및 BLEU로 평가한다.

실험 결과

연구 질문

• RQ1 통제 가능한 텍스트 재작성에 해리(disentanglement)가 필요한가, 아니면 다른 학습 목표로 충분한가?
• RQ2 백트랜스레이션과 속성 조건부 결합이 엔드투엔드 모델에서 다중 속성 스타일 전이를 가능하게 할 수 있는가?
• RQ3 잠재 공간의 풀링이 콘텐츠 보존과 스타일 수정 간의 trade-off에 어떤 영향을 미치는가?
• RQ4 다중 속성 모델이 다중 속성을 가진 현실적인 전체 리뷰에 일반화되는가?
• RQ5 속성 제어, 유창성, 콘텐츠 보존을 평가하는 자동 지표가 인간 평가와 어떻게 비교되는가?

주요 결과

• 해리(disentanglement)가 컨트롤 가능한 텍스트 재작성에 필요하지 않으며, 적대적 학습 없이도 강력한 속성 제어와 콘텐츠 보존을 달성할 수 있다.
• 잡음 제거 자동인코딩과 속성 조건부 결합을 포함하는 백트랜스레이션 기반 목표가, 감정 및 다중 속성 작업에서 이전 연구에 비해 경쟁력 있거나 우수한 결과를 낳는다.
• 인코더의 시간적 풀링 메커니즘은 콘텐츠 보존과 스타일 변화 간의 tunable 제어를 가능하게 한다.
• 제안된 다속성 모델은 자동 지표에서 기존 기준선을 능가하고 여러 설정에서 인간 평가와 일치하는 경향을 보인다.
• 다중 속성으로 확장하면 현실적인 전체 리뷰를 더 어려운 벤치마크로 제공하고 단일 속성, 문장 단위 평가의 한계를 드러낸다.