[논문 리뷰] Structured Content Preservation for Unsupervised Text Style Transfer

Youzhi Tian, Zhiting Hu외 1명|arXiv (Cornell University)|2018. 10. 15.

Natural Language Processing Techniques인용 수 29

한 줄 요약

이 논문은 감정 및 정치적 편향 전이와 같은 다양한 스타일 전이 작업에서 높은 내용 유지성과 스타일 전이 정확도를 달성하기 위해 품사 태그(POS) — 특히 명사 — 에 대한 제약 조건을 강제하고 내용 조건부 언어 모델을 통합함으로써 내용을 유지하는 구조적 생성 모델을 제안한다. 이 방법은 감정 및 정치적 편향 전이 분야에서 최신 기술(SOTA) 성능을 달성하며, 기존 모델에 비해 내용 유지성과 스타일 전이 정확도에서 뚜렷한 우월성을 보인다.

ABSTRACT

Text style transfer aims to modify the style of a sentence while keeping its content unchanged. Recent style transfer systems often fail to faithfully preserve the content after changing the style. This paper proposes a structured content preserving model that leverages linguistic information in the structured fine-grained supervisions to better preserve the style-independent content during style transfer. In particular, we achieve the goal by devising rich model objectives based on both the sentence's lexical information and a language model that conditions on content. The resulting model therefore is encouraged to retain the semantic meaning of the target sentences. We perform extensive experiments that compare our model to other existing approaches in the tasks of sentiment and political slant transfer. Our model achieves significant improvement in terms of both content preservation and style transfer in automatic and human evaluation.

연구 동기 및 목표

• 스타일과 내용이 깊이 얽혀 있는 비지도 텍스트 스타일 전이 과정에서의 내용 열화 문제를 해결하기 위해.
• 특히 품사(POS) 태그(예: 명사)에 초점을 맞춘 구조적 언어학적 감시를 통합하여 스타일 전이에서의 내용 유지성을 향상시키기 위해.
• 내용 표현과 스타일 임베딩에 조건부로 설정된 언어 모델을 활용하여 생성 문장의 유창성과 내용 유지성을 향상시키기 위해.
• 내용 유지 정도를 정량화할 수 있는 새로운 POS 거리 지표를 포함한 강력한 평가 프레임워크를 개발하기 위해.
• 감정 및 정치적 편향 전이와 같은 다양한 스타일 전이 작업에 대해 모델의 효과성을 입증하기 위해.

제안 방법

• 스태일 전이 문장을 생성하기 위해 주의 메커니즘을 갖춘 오토인코더(AE)와 이진 스타일 분류기를 사용한다.
• 입력 문장과 생성 문장의 품사 태그(특히 명사) 간의 거리가 최소화되도록 하는 POS 기반 제약 조건을 도입한다.
• 명사 내용과 스타일 표현에 조건부로 설정된 언어 모델을 활용하여 유창성과 내용 유지성을 향상시킨다.
• 오토인코더 재구성, 스타일 분류, POS 유사도, 언어 모델의 가능도를 포함한 다중 목적 함수를 통합하여 내용과 스타일을 동시에 최적화한다.
• 스타일 디스크림리네이터를 활용한 적대적 훈련을 통해 스타일 표현과 내용 표현을 분리한다.
• 이산 토큰의 비미분성으로 인해 생성기 최적화를 위해 REINFORCE 또는 유사 강화 학습 기법을 사용한다.

실험 결과

연구 질문

• RQ1 품사 태그 일관성과 같은 구조적 언어학적 감시가 비지도 텍스트 스타일 전이에서 내용 유지성 향상에 뚜렷한 영향을 미칠 수 있는가?
• RQ2 내용 조건부 언어 모델과 POS 제약 조건을 조합할 경우 생성 문장의 유창성과 의미 유지성에 어떤 영향을 미치는가?
• RQ3 제안된 모델이 자동 평가 및 인간 평가 모두에서 기존 비지도 스타일 전이 방법에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 감정 및 정치적 편향 전이와 같은 다양한 스타일 전이 작업에 대해 모델이 일반화 가능한가?
• RQ5 새로운 POS 거리 지표가 텍스트 스타일 전이에서 내용 유지 정도를 신뢰할 수 있는 대체 지표로 기능할 수 있는가?

주요 결과

• 감정 전이 작업에서 제안된 모델은 스타일 분류기 정확도가 92.4%를 기록하여 Prabhumoye 등(86.5%)과 Hu 등(90.7%)을 앞서며 뛰어난 성능을 보였다.
• 감정 데이터셋에서 모델은 BLEU 점수 56.6을 기록하였으며, Prabhumoye 등(7.38)과 Hu 등(47.5)에 비해 유의미하게 높았다.
• POS 거리 지표는 2.837로 낮아, Prabhumoye 등(7.298)과 Hu 등(3.524)에 비해 내용 유지 정도가 훨씬 뛰어났음을 시사했다.
• 정치적 편향 전이 작업에서도 모델은 명사 등 명명된 실체의 영향을 고려할 때에도 BLEU 점수 56.6을 유지하고 낮은 POS 거리 지표를 기록하여 높은 성능을 유지했다.
• 인간 평가 결과, 기존 방법에 비해 내용 유지 정도가 뛰어나고 스타일 전이 정확도도 더 높은 것으로 확인되었다.
• 미묘한 감정이나 복잡한 문법적 구조(예: 이重부정, 누락된 절 등)를 포함한 문장에서는 성능 저하가 발생하여 미묘한 언어 현상 처리에 한계가 있음을 시사했다.