[논문 리뷰] VAE based Text Style Transfer with Pivot Words Enhancement Learning

Haoran Xu, Sixing Lu외 3명|arXiv (Cornell University)|2021. 12. 06.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 변분 자동차오디터(VAE) 기반 텍스트 스타일 전이 모델인 VT-STOWER를 제안한다. 이 모델은 변분 자동차오디터와 외부 스타일 임베딩을 사용하여 콘텐츠 및 스타일 분포를 동시에 학습하며, 스타일 전이 정확도를 향상시키기 위해 새로운 피벗 단어 마스킹 기법을 도입한다. 이 방법은 학습 가능한 가중치를 통해 스타일 강도를 민첩하게 제어할 수 있으며, 감성, 형식성, 코드 스위칭 전이 작업에서 최신 기술 수준의 성능을 달성한다. 특히 히нд어-힌글리시 코드 스위칭에 대한 스타일 전이의 첫 적용을 이룬다.

ABSTRACT

Text Style Transfer (TST) aims to alter the underlying style of the source text to another specific style while keeping the same content. Due to the scarcity of high-quality parallel training data, unsupervised learning has become a trending direction for TST tasks. In this paper, we propose a novel VAE based Text Style Transfer with pivOt Words Enhancement leaRning (VT-STOWER) method which utilizes Variational AutoEncoder (VAE) and external style embeddings to learn semantics and style distribution jointly. Additionally, we introduce pivot words learning, which is applied to learn decisive words for a specific style and thereby further improve the overall performance of the style transfer. The proposed VT-STOWER can be scaled to different TST scenarios given very limited and non-parallel training data with a novel and flexible style strength control mechanism. Experiments demonstrate that the VT-STOWER outperforms the state-of-the-art on sentiment, formality, and code-switching TST tasks.

연구 동기 및 목표

• 비평행 데이터가 적은 저자원 텍스트 스타일 전이 문제를 해결하기 위해 변분 자동차오디터와 외부 스타일 임베딩을 활용한 비지도 학습 기반 접근을 제안한다.
• 스태일 전이 정확도를 향상시키기 위해 스타일 결정 요소를 갖는 단어를 강조하는 피벗 단어 마스킹 기법을 도입한다.
• 잠재 공간 내에서 조정 가능한 스타일 가중치를 통해 스타일 강도를 민감하게 제어할 수 있도록 한다.
• 통합된 프레임워크를 사용해 아직 탐색이 부족한 코드 스위칭 작업, 특히 히нд어-힌글리시에 대한 텍스트 스타일 전이를 확장한다.
• 특히 어휘 풍부성 유지와 함께 높은 전이 정확도를 달성하면서도 저자원 데이터셋에서 일반화 및 강건성을 입증한다.

제안 방법

• VT-STOWER는 두 단계 학습 프로세스를 사용한다: 먼저 콘텐츠 복원에 대해 VAE를 사전 학습한 후, 스타일 인식 목표로 미세 조정한다.
• 모델은 콘텐츠와 스타일을 위한 연속적이고 분리된 잠재 공간을 학습하기 위해 변분 자동차오디터를 사용하여 부드러운 보간 및 생성을 가능하게 한다.
• 외부 스타일 임베딩을 사용하여 목표 스타일을 표현함으로써, 특정 스타일 속성에 조건부 생성을 가능하게 한다.
• 피벗 단어 마스킹 기법을 도입하여, BERT의 어텐션 헤드에서 유도된 중요도 점수를 통해 스타일 결정 요소가 되는 단어를 식별하고 학습을 강화한다.
• 잠재 공간 내에서 스타일 강도는 잠재 벡터 $ z' $ 에 타겟 스타일 임베딩의 기여도를 조절하는 학습 가능한 가중치 $ w $ 를 통해 제어된다.
• 모델은 복원 손실, 콘텐츠 복원 손실, 스타일 복원 손실을 함께 최적화하며, 피벗 단어 점수를 사용해 학습 중 어텐션을 유도한다.

실험 결과

연구 질문

• RQ1 비평행 데이터가 적은 상황에서 VAE 기반 프레임워크가 최소한의 평행 데이터로도 텍스트 스타일 전이에서 콘텐츠 및 스타일 분포를 동시에 모델링할 수 있는가?
• RQ2 피벗 단어 마스킹 기법은 평행 훈련 쌍에 의존하지 않고도 스타일 전이 정확도와 자연스러움을 어떻게 향상시키는가?
• RQ3 잠재 공간 내에서 학습 가능한 가중치 파rameter를 통해 스타일 강도를 얼마나 민감하게 제어할 수 있는가?
• RQ4 제안된 방법은 코드 스위칭과 같은 저자원, 비평행 스타일 전이 작업으로 일반화될 수 있는가?
• RQ5 기존 최신 기술 수준의 방법들과 비교해 기준 작업, 즉 감성 및 형식성 전이 작업에서 모델의 성능은 어떠한가?

주요 결과

• VT-STOWER는 감성 전이 작업에서 스타일 가중치 2.5를 사용할 때 95.9%의 전이 정확도를 달성하여 이전 방법들을 크게 앞서간다.
• 높은 스타일 강도에서도 합리적인 BLEU 점수 20.85와 PPL 32.8을 유지하여 정확도와 자연스러움 사이의 균형을 확보한다.
• 코드 스위칭 전이 작업에서는 87.4%의 정확도와 BLEU 15.6을 기록하여 무작위 교체 기반 베이스라인(1.02% 정확도)과 MUSE 기반 번역 방법을 모두 압도한다.
• 피벗 단어 마스킹 기법은 감성 전이에서 'comfortable and welcome'과 같은 핵심 스타일 결정 단어나 형식성 전이에서 'ur'과 같은 단어에 집중함으로써 전이 정확도를 향상시킨다.
• 중요도 점수 분석 결과, 모델이 비공식적 대명사나 코드 스위칭 콘텐츠와 같은 높은 스타일적 의의를 가진 단어에 주의를 기울이는 것을 확인할 수 있다.
• 저자원 환경에서도 잘 일반화되며, 코드 스위칭 데이터셋에 7,000건의 문장만으로도 강력한 성능을 달성한다.