[논문 리뷰] Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation

Ning Dai, Jianze Liang외 2명|arXiv (Cornell University)|2019. 05. 14.

Topic Modeling참고 문헌 29인용 수 11

한 줄 요약

이 논문은 디센틀드 잠재 표현을 피하기 위해 트랜스포머의 자기주의 메커니즘을 활용하는 새로운 텍스트 스타일 전이 모델인 스타일 트랜스포머를 제안한다. 이전의 적대적 분리 기반 방법들과는 달리, 주로 자기주의를 통한 인코더-디코더 아키텍처를 통해 콘텐츠를 유지하면서 스타일을 직접 전이한다. 이로 인해 두 가지 벤치마크 데이터셋에서 최고 수준의 콘텐츠 유지 성능을 달성한다.

ABSTRACT

Disentangling the content and style in the latent space is prevalent in unpaired text style transfer. However, two major issues exist in most of the current neural models. 1) It is difficult to completely strip the style information from the semantics for a sentence. 2) The recurrent neural network (RNN) based encoder and decoder, mediated by the latent representation, cannot well deal with the issue of the long-term dependency, resulting in poor preservation of non-stylistic semantic content. In this paper, we propose the Style Transformer, which makes no assumption about the latent representation of source sentence and equips the power of attention mechanism in Transformer to achieve better style transfer and better content preservation.

연구 동기 및 목표

• 비쌍화된 텍스트 스타일 전이에서 디센틀드 잠재 표현의 한계를 해결하기 위해, 특히 콘텐츠 유지가 불량하고 장거리 의존성을 포착하기 어려운 문제를 해결한다.
• 디센틀드 표현을 강제하기 위해 적대적 훈련이 필요 없도록 하여, 스타일을 콘텐츠 표현에서 완전히 제거하지 못하는 문제를 해결한다.
• 고정 크기의 잠재 벡터가 아닌 트랜스포머 아키텍처의 전체 문맥 모델링 능력을 활용해 콘텐츠 유지 성능을 향상시킨다.
• 디코더가 입력 전체 시퀀스에 대해 자기주의를 통해 주의를 기울일 수 있도록 하여, 압축된 잠재 코드에 의존하지 않고 더 효과적인 스타일 전이를 가능하게 한다.
• 엔드 투 엔드 훈련을 통해 자기주의 메커니즘을 활용한 모델이 명시적인 콘텐츠와 스타일 분리가 필요한 모델보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 고정 크기의 잠재 벡터를 사용하지 않고, 멀티헤드 자기주의를 활용해 입력 및 출력 시퀀스를 직접 모델링하는 트랜스포머 기반 인코더-디코더 아키텍처를 제안한다.
• 디센틀드 표현 없이도 콘텐츠 유지와 스타일 제어를 가능하게 하기 위해 자기복원, 사이클 복원, 적대적 손실을 조합한 새로운 훈련 목표를 도입한다.
• 실제 문장과 생성된 문장을 혼합하여 훈련하는 디세크리미네이터를 사용해 스타일 감독을 제공하고 모드 붕괴를 방지한다.
• 모델이 스타일 전이 후 반전 전이를 통해 원래 입력을 복원하도록 유도하기 위해 사이클 복원 손실을 도입한다.
• 입력에서 유창하고 일관된 문장을 생성할 수 있도록 보장하기 위해 자기복원 손실을 적용한다.
• 인코더와 디코더 양쪽 모두에 멀티헤드 주의를 활용해 장거리 의존성을 포착하고 문맥 모델링 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 디센틀드 잠재 표현에 의존하지 않고도 트랜스포머 기반 모델이 비쌍화된 텍스트 스타일 전이에서 더 나은 콘텐츠 유지 성능을 달성할 수 있는가?
• RQ2 디코더에서 자기주의와 전체 시퀀스 주의를 사용할 경우, 고정 크기의 잠재 코드를 사용하는 RNN 기반 모델보다 콘텐츠 유지가 향상되는가?
• RQ3 자기복원, 사이클 복원, 적대적 손실 등의 다양한 훈련 구성 요소가 모델 성능과 안정성에 미치는 영향은 어떠한가?
• RQ4 명시적인 분리 없이 훈련된 모델도 여전히 고성능의 스타일 전이와 콘텐츠 유지 성능을 달성할 수 있는가?
• RQ5 디세크리미네이터 훈련에서 실재 문장과 생성된 문장의 상대적 기여도는 어떠한가?

주요 결과

• 스타일 트랜스포머는 유저 리뷰(Yelp) 및 아마존(Amazon) 데이터셋에서 모두 최고의 콘텐츠 유지 성능을 기록했으며, 다중 클래스 설정에서는 BLEU 점수 20.3, 조건 설정에서는 17.1을 기록했다.
• 이전 최고 성능 모델들보다 콘텐츠 유지 성능에서 뚜렷한 우월성을 보이며, 디센틀드 잠재 표현을 피하는 것이 효과적임을 입증했다.
• 아블레이션 연구 결과, 사이클 복원 손실을 제거할 경우 BLEU 점수가 20.3에서 8.7로 급격히 하락함을 확인하여, 이 손실이 입력 의미 유지에 핵심적인 역할을 한다는 것을 입증했다.
• 디세크리미네이터 손실은 필수적이다. 이 손실이 없을 경우 모델은 입력 문장을 그대로 복사하는 방식으로 붕괴되어 스타일 정확도가 3.3%에 그친다.
• 디세크리미네이터에 실재 문장만 사용할 경우 스타일 제어 성능이 열악해져 20.7%의 정확도를 기록하지만, 생성된 문장만 사용할 경우 합리적인 성능을 유지함을 확인하여, 생성된 샘플이 스타일 감독에 필수적임을 보여준다.
• 자기복원 손실은 유창한 출력 생성에 필수적이다. 이 손실을 비활성화할 경우 모델은 유일한 단어만 생성하는 방식으로 붕괴된다.