[논문 리뷰] Contextual Text Style Transfer

Yu Cheng, Zhe Gan외 4명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 37인용 수 5

한 줄 요약

이 논문은 문맥 일관성과 의미 유지 조건에서 문장 스타일을 전이하는 새로운 작업인 컨텍스트 텍스트 스타일 전이를 소개한다. 제안된 CAST 모델은 문장과 문맥을 위한 별도의 인코더를 사용하며, 스타일 및 일관성 분류기를 함께 활용하고, 병렬 데이터와 비병렬 데이터를 자가재구성 및 백트랜스레이션 손실을 통해 활용함으로써 두 가지 새로운 벤치마크인 Enron-Context와 Reddit-Context에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a new task, Contextual Text Style Transfer - translating a sentence into a desired style with its surrounding context taken into account. This brings two key challenges to existing style transfer approaches: ($i$) how to preserve the semantic meaning of target sentence and its consistency with surrounding context during transfer; ($ii$) how to train a robust model with limited labeled data accompanied with context. To realize high-quality style transfer with natural context preservation, we propose a Context-Aware Style Transfer (CAST) model, which uses two separate encoders for each input sentence and its surrounding context. A classifier is further trained to ensure contextual consistency of the generated sentence. To compensate for the lack of parallel data, additional self-reconstruction and back-translation losses are introduced to leverage non-parallel data in a semi-supervised fashion. Two new benchmarks, Enron-Context and Reddit-Context, are introduced for formality and offensiveness style transfer. Experimental results on these datasets demonstrate the effectiveness of the proposed CAST model over state-of-the-art methods across style accuracy, content preservation and contextual consistency metrics.

연구 동기 및 목표

• 기존 스타일 전이 모델이 단일 문장에서만 작동하여 장문의 텍스트에서 주제 일관성이 떨어지는 한계를 해결하기 위해.
• 문단 수준 설정에서 스타일 전이 품질과 문맥 일관성을 동시에 최적화하는 모델을 개발하기 위해.
• 병렬 스타일 전이 데이터의 부족 문제를 자가지도 목표를 통해 비병렬 데이터를 통합함으로써 해결하기 위해.
• 문단 수준의 문맥 주석이 포함된 새로운 벤치마크인 Enron-Context와 Reddit-Context를 설정하기 위해.
• 실세계 응용에서 콘텐츠 유지, 스타일 정확도 및 일관성에 대한 문맥 인식 모델링의 영향을 평가하기 위해.

제안 방법

• CAST 모델은 대상 문장과 그 주변 문단의 문맥을 위한 두 개의 별도 인코더를 사용한다.
• 통합 디코더는 문장 인코더와 문맥 인코더의 특징을 모두 사용하여 스타일 전이된 문장을 생성한다.
• 생성 과정에서 원하는 목표 스타일을 강제하기 위해 사전 훈련된 스타일 분류기를 사용한다.
• 생성된 문장이 주변 문맥과 의미적으로 일치하는지 보장하기 위해 일관성 분류기를 훈련한다.
• 비병렬 데이터를 준지도 학습 방식으로 활용하기 위해 자가재구성 및 백트랜스레이션 손실을 도입한다.
• 병렬 및 비병렬 데이터를 함께 사용하여 종합적으로 훈련함으로써 모델의 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 문장의 문단 수준 문맥 내에서 수정할 때 의미적 일관성과 주제 일관성을 유지할 수 있도록 스타일 전이 모델을 어떻게 개선할 수 있는가?
• RQ2 문장 전용 모델 대비 문맥 인식 인코더와 일관성 분류기가 스타일 전이 출력 품질에 얼마나 기여하는가?
• RQ3 자기지도 목표인 자가재구성 및 백트랜스레이션은 스타일 전이에서 병렬 훈련 데이터가 제한되었을 때 효과적으로 보완할 수 있는가?
• RQ4 문맥의 포함 여부가 공식적 언어 및 공격적 언어 전이에서 스타일 정확도, 콘텐츠 유지, 일관성에 미치는 영향은 어떠한가?
• RQ5 문맥 인코더 및 일관성 분류기와 같은 CAST 모델의 각 구성 요소가 전체 성능에 기여하는 비율은 어느 정도인가?

주요 결과

• CAST는 공식/비공식 전이 작업에서 68.04%의 스타일 정확도를 기록했고, 공격적/비공격적 전이 작업에서는 88.45%를 기록하여 모든 베이스라인을 능가했다.
• 모델은 공식화 작업에서 85.47, 공격적 언어 전이 작업에서 85.98의 문맥 일관성 점수를 확보하여, 문맥 간식 모델보다 유의미하게 뛰어났다.
• 제거 실험 결과, 문맥 인코더를 제거하면 일관성 점수가 2.56점 감소하고 정확도도 2.69점 감소함으로써 그 핵심적 역할을 입증했다.
• 일관성 분류기는 베이스라인 대비 일관성 점수를 5.31점 향상시켰지만, 스타일 정확도에 거의 영향을 주지 않았다.
• 비병렬 데이터를 활용하면 스타일 정확도에서 10.12점, 일관성에서 10.02점 향상되어 하이브리드 훈련의 유용성을 입증했다.
• 인간 평가 결과, 콘텐츠 유지, 스타일 제어 및 문맥 일관성 측면에서 CAST가 베이스라인보다 유의미하게 선호되었으며, 65.5%의 평가에서 CAST가 다음으로 우수한 모델을 앞섰다.