[논문 리뷰] Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

Ke Wang, Hang Hua외 1명|arXiv (Cornell University)|2019. 05. 30.

Topic Modeling참고 문헌 42인용 수 44

한 줄 요약

이 논문은 텍스트의 얽힌 잠재 표현을 학습하는 Transformer 기반 자동 인코더와 FGIM 알고리즘을 사용해 제어 가능한, 비지도 텍스트 속성 전을 수행하며 다중 속성 및 전이 정도 제어 기능을 포함한다.

ABSTRACT

Unsupervised text attribute transfer automatically transforms a text to alter a specific attribute (e.g. sentiment) without using any parallel data, while simultaneously preserving its attribute-independent content. The dominant approaches are trying to model the content-independent attribute separately, e.g., learning different attributes' representations or using multiple attribute-specific decoders. However, it may lead to inflexibility from the perspective of controlling the degree of transfer or transferring over multiple aspects at the same time. To address the above problems, we propose a more flexible unsupervised text attribute transfer framework which replaces the process of modeling attribute with minimal editing of latent representations based on an attribute classifier. Specifically, we first propose a Transformer-based autoencoder to learn an entangled latent representation for a discrete text, then we transform the attribute transfer task to an optimization problem and propose the Fast-Gradient-Iterative-Modification algorithm to edit the latent representation until conforming to the target attribute. Extensive experimental results demonstrate that our model achieves very competitive performance on three public data sets. Furthermore, we also show that our model can not only control the degree of transfer freely but also allow to transfer over multiple aspects at the same time.

연구 동기 및 목표

• 병렬 데이터 없이 유연하고 비지도 텍스트 속성 전송을 가능하게 하는 동기를 제시한다.
• 대상 속성 일치를 달성하면서 속성에 독립적인 내용을 보존한다.
• 생성 텍스트의 유창성과 자연스러움을 유지한다.
• 속성 전이의 정도와 다중 속성 전이를 제어할 수 있도록 한다.

제안 방법

• 텍스트의 얽힌 잠재 표현을 학습하기 위해 Transformer 기반 자동 인코더를 구축한다.
• 편집을 안내하기 위해 잠재 코드에 대해 별도 속성 분류기를 학습시킨다.
• 속성 전이를 분류기가 목표 속성을 할당하는 z'에 대해 z에 가장 가까운 것을 찾는 문제로 형식화한다.
• 분류기로부터의 그래디언트 방향을 이용해 Fast-Gradient-Iterative-Modification (FGIM) 알고리즘으로 잠재 코드 z를 편집한다.
• 편집된 잠재 표현으로부터 자동 인코더 디코더를 사용해 대상 텍스트를 디코드한다.
• 재구성 편향을 개선하기 위해 오토인코더 손실에 레이블 스무딩을 사용한다.
• 다중 시도, 감소 기반 전략으로 수정 가중치를 동적으로 선택해 국소 최적해를 피한다.

실험 결과

연구 질문

• RQ1 얽힌 잠재 표현이 콘텐츠와 스타일을 분리하지 않고도 제어 가능한 속성 전이를 지원할 수 있는가?
• RQ2 그래디언트 기반 잠재 공간 편집 방식이 콘텐츠를 보존하면서 정확하고 유창한 속성 전이를 달성할 수 있는가?
• RQ3 다중 속성 및 조정 가능한 정도의 전이가 기존의 분해 기반 방법보다 유연성을 향상시키는가?

주요 결과

• 본 모델은 세 데이터셋에서 자동 지표(Acc, BLEU, PPL)에서 여덟 개의 baselines와 비교해 경쟁력 있거나 우수한 성능을 달성한다.
• 본 방법은 높은 속성 정확도와 유창성을 얻으며, 인간 평가에서도 콘텐츠 보존이 강하게 나타난다.
• 다중 측면에 걸친 속성 전송을 지원하고 수정 가중치를 통해 전이 정도를 다르게 설정할 수 있다.
• beer-리뷰 데이터셋에서의 다중 측면 감정 전송은 appearance, aroma, palate, taste, overall 측면에서 높은 정확도를 보인다.
• 본 접근법은 여러 baselines보다 유창성과 콘텐츠 보존을 더 잘 유지하면서 강한 전이를 달성한다.