[논문 리뷰] Unsupervised Text Style Transfer via Iterative Matching and Translation.

Zhijing Jin, Di Jin외 3명|arXiv (Cornell University)|2019. 01. 31.

Topic Modeling참고 문헌 14인용 수 15

한 줄 요약

이 논문은 병렬 훈련 데이터 없이도 비지도 학습 텍스트 스타일 전이를 가능하게 하는 방법을 제안한다. 이 방법은 원본 스타일 도메인과 타겟 스타일 도메인 간에 의미적으로 유사한 문장을 반복적으로 매칭하여 가짜 병렬 코퍼스를 구성하고, 이후 시퀀스 투 시퀀스 모델을 적용하여 스타일 전이를 학습한다. 이 접근법은 반복적으로 정렬과 번역 모델을 개선함으로써 최신 기술 수준의 성능을 달성한다. 감성 및 형식성 전이 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Text style transfer seeks to learn how to automatically rewrite sentences from a source domain to the target domain in different styles, while simultaneously preserving their semantic contents. A major challenge in this task stems from the lack of parallel data that connects the source and target styles. Existing approaches try to disentangle content and style, but this is quite difficult and often results in poor content-preservation and grammaticality. In contrast, we propose a novel approach by first constructing a pseudo-parallel resource that aligns a subset of sentences with similar content between source and target corpus. And then a standard sequence-to-sequence model can be applied to learn the style transfer. Subsequently, we iteratively refine the learned style transfer function while improving upon the imperfections in our original alignment. Our method is applied to the tasks of sentiment modification and formality transfer, where it outperforms state-of-the-art systems by a large margin. As an auxiliary contribution, we produced a publicly-available test set with human-generated style transfers for future community use.

연구 동기 및 목표

• 병렬 훈련 데이터 없이도 비지도 학습 텍스트 스타일 전이 문제를 해결하기 위해.
• 기존의 분리 기반 방법들이 자주 내용과 문법을 유지하지 못하는 한계를 극복하기 위해.
• 다른 스타일 도메인 간에 의미적으로 유사한 문장을 신뢰할 수 있고 데이터 기반으로 정렬할 수 있는 방법을 구축하기 위해.
• 초기 가짜 병렬 데이터에 존재하는 오류를 수정하기 위해 정렬과 스타일 전이 모델을 반복적으로 개선하기 위해.
• 향후 스타일 전이 시스템 평가를 위한 공개된 인간이 애너테이션한 테스트 세트를 제공하기 위해.

제안 방법

• 원본 스타일 코퍼스와 타겟 스타일 코퍼스 간에 의미적으로 유사한 문장을 식별하고 매칭하여 가짜 병렬 코퍼스를 구성한다.
• 초기 가짜 병렬 데이터를 기반으로 표준 시퀀스 투 시퀀스 모델을 훈련하여 스타일 전이 함수를 학습한다.
• 현재 모델의 예측 결과를 사용해 문장 쌍을 재평가함으로써 정렬을 반복적으로 개선하고, 잘못된 매칭을 탐지 및 수정한다.
• 개선된 정렬 데이터를 기반으로 다시 훈련하여 스타일 전이 모델을 향상시키며, 유창성과 내용 보존성을 모두 향상시킨다.
• 도메인 간에 높은 의미 유사성을 가진 후보 문장 쌍을 식별하기 위해 검색 기반 매칭 전략을 적용한다.
• 에러 전파를 점차 줄이고 모델 일반화 능력을 향상시키기 위해 반복적인 개선을 적용한다.

실험 결과

연구 질문

• RQ1 병렬 애너테이션 없이도 효과적으로 가짜 병렬 코퍼스를 구성하여 비지도 스타일 전이를 가능하게 할 수 있는가?
• RQ2 정렬과 모델 파rameter의 반복적 개선이 스타일 전이 성능에 어떻게 기여하는가?
• RQ3 기존의 분리 기반 접근법과 비교해 본다면, 제안된 방법이 의미적 내용과 문법적 정확성을 어느 정도 유지하는가?
• RQ4 감성 전이 및 형식성 전이와 같은 다양한 스타일 전이 작업에 일반화 가능한가?
• RQ5 인간 평가 기반 벤치마크에서 제안된 방법의 성능은 최신 기술 수준의 시스템과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 감성 수정 및 형식성 전이 작업 모두에서 최신 기술 수준의 성능을 달성한다.
• 반복적인 개선 과정은 기준 모델 대비 유창성과 내용 보존성 향상에 크게 기여한다.
• 일반적으로 문법적 정확성과 의미 일관성 문제를 겪는 분리 기반 접근법에 비해 본 방법은 우수한 성능을 보인다.
• 저자들은 인간이 생성한 스타일 전이 결과를 포함한 공개된 테스트 세트를 제공하여 표준화된 평가를 가능하게 한다.
• 결과적으로 자원이 제한된 환경에서 가짜 병렬 코퍼스를 기반으로 학습하는 것이 종단 간 분리 기반 학습보다 더 효과적임을 입증한다.
• 본 방법은 다양한 스타일 전이 작업에 대해 뛰어난 일반화 능력을 보이며, 강력한 일반화 성능을 입증한다.