[논문 리뷰] Domain Adaptive Text Style Transfer

Dianqi Li, Yizhe Zhang외 5명|arXiv (Cornell University)|2019. 08. 25.

Music and Audio Processing참고 문헌 39인용 수 10

한 줄 요약

이 논문은 저자원 대상 도메인에서 텍스트 스타일 전이 성능을 향상시키기 위해 대규모 소스 도메인 데이터를 활용하는 도메인 적응형 텍스트 스타일 전이(DAST)를 제안한다. 학습 가능한 도메인 벡터와 도메인 특화 스타일 분류기를 통해 일반적인 컨텐츠와 도메인 고유 스타일을 분리함으로써, DAST는 대상 도메인 데이터의 1% 미만으로도 우수한 컨텐츠 유지 및 스타일 전이 정확도를 달성하며, 감성 및 형식성 전이 작업 모두에서 베이스라인을 능가한다.

ABSTRACT

Text style transfer without parallel data has achieved some practical success. However, in the scenario where less data is available, these methods may yield poor performance. In this paper, we examine domain adaptation for text style transfer to leverage massively available data from other domains. These data may demonstrate domain shift, which impedes the benefits of utilizing such data for training. To address this challenge, we propose simple yet effective domain adaptive text style transfer models, enabling domain-adaptive information exchange. The proposed models presumably learn from the source domain to: (i) distinguish stylized information and generic content information; (ii) maximally preserve content information; and (iii) adaptively transfer the styles in a domain-aware manner. We evaluate the proposed models on two style transfer tasks (sentiment and formality) over multiple target domains where only limited non-parallel data is available. Extensive experiments demonstrate the effectiveness of the proposed model compared to the baselines.

연구 동기 및 목표

• 소스 도메인과 분포가 다를 경우 대상 도메인 데이터가 부족할 때 텍스트 스타일 전이 성능이 열 劣하는 문제를 해결하기 위해.
• 관련하지만 다른 소스 도메인에서 유사하지만 평행 데이터가 아닌 대규모 데이터를 활용하여 저자원 대상 도메인에서 효과적인 스타일 전이를 가능하게 하기 위해.
• 일반적인 컨텐츠 정보를 도메인 고유 스타일 특징에서 분리하여 컨텐츠 유지와 함께 대상 도메인의 어휘 패턴에 적응할 수 있도록 하기 위해.
• 자원 부족 조건에서도 높은 스타일 전이 정확도와 컨텐츠 충실도를 유지할 수 있도록 도메인 적응형 정보 교환을 수행하는 모델을 설계하기 위해.

제안 방법

• 일반적인 컨텐츠와 도메인 고유 스타일을 분리하기 위해 별도의 컨텐츠 및 스타일 잠재 공간을 갖춘 변동형 오토인코더 프레임워크를 사용한다.
• 생성 과정을 대상 도메인에 맞게 조절하기 위해 학습 가능한 도메인 벡터를 도입한다. 이는 도메인 인식 스타일 전이를 가능하게 한다.
• 각 도메인의 고유한 스타일 패턴을 학습하도록 유도하기 위해 도메인 특화 스타일 분류기를 사용한다. 이는 스타일 제어를 향상시킨다.
• 컨텐츠 유지와 도메인 적응을 동시에 최적화하기 위해 오토인코딩 손실, 스타일 전이 손실, 도메인 고유 스타일 분류 손실을 조합한 훈련 목표를 설정한다.
• 평행 소스 데이터가 있는 설정(예: GYAFC)에서는 스타일 전이 감시를 향상시키기 위해 소스 도메인에 추가로 순차적-순차적(Sequence-to-Sequence) 손실을 적용한다.
• 소스 도메인과 대상 도메인 데이터를 동시에 사용하여 모델을 엔드 투 엔드로 훈련한다. 이때 소스 도메인은 일반적인 컨텐츠 지식을 제공하고, 대상 도메인은 스타일 및 도메인 고유의 감시를 제공한다.

실험 결과

연구 질문

• RQ1 대규모 소스 도메인 데이터를 활용하면 저자원 대상 도메인에서 텍스트 스타일 전이 성능이 향상될 수 있는가?
• RQ2 도메인 분포가 다를 경우 일반적인 컨텐츠와 도메인 고유 스타일을 효과적으로 분리할 수 있는가?
• RQ3 자원 부족 조건에서 높은 컨텐츠 유지 및 스타일 전이 정확도를 유지를 위해 필수적인 구성 요소는 무엇인가?
• RQ4 대상 도메인에 평행 데이터가 없더라도 도메인 적응형 정보 교환을 달성할 수 있는가?

주요 결과

• Yelp 감성 전이 작업에서 DAST는 대상 데이터의 0.1%(400개 샘플)만으로도 G-점수 4.8을 기록하여 베이스라인 및 미세조정 모델을 크게 앞서 갔다.
• Enron 형식성 전이 작업에서 DAST는 비평행 대상 데이터 조건에서도 도메인 정확도 88.4%와 스타일 정확도 91.6%를 유지했다.
• 제거 실험 결과 도메인 벡터가 도메인 정확도 향상에 가장 기여했고, 도메인 특화 스타일 분류기가 스타일 제어 및 컨텐츠 유지에 핵심적인 역할을 했다.
• DAST는 컨텐츠 유지(더 높은 G-점수)와 스타일 제어(더 높은 S-acc) 모두에서 미세조정보다 뛰어난 성능을 보였으며, 치명적인 기억 상실을 방지했다.
• 평행 소스 데이터(GYAFC)가 있는 조건에서 DAST는 Enron 형식성 작업에서 인간 선호도 점수 81.2를 기록하여 다음으로 높은 성능을 보인 방법보다 유의미하게 높았다.
• 단지 400개의 대상 샘플(0.1%)만으로도 DAST는 일관되고 스타일에 부합하는 문장을 생성했고, 대상 도메인 전용 베이스라인은 난센스 문장을 생성했다.