[논문 리뷰] TextSETTR: Label-Free Text Style Extraction and Tunable Targeted Restyling

Parker Riley, Noah Constant외 4명|arXiv (Cornell University)|2021. 05. 04.

Topic Modeling인용 수 8

한 줄 요약

TextSETTR는 T5를 사용하여 레이블이 없는 텍스트에서 인접한 문장들로부터 스타일 벡터를 추출함으로써 특정 스타일 속성만 조작하여 타겟된 재스타일링을 가능하게 하는 레이블 없는 텍스트 스타일 전이 방법을 제안한다. 레이블이 없는 데이터로 훈련된 이 모델은 클래스당 단지 네 개의 예시만으로도 경쟁적인 감성 전이 성능을 달성하며, 감성, 공식성, 어조 등 여러 스타일 차원으로 일반화된다.

ABSTRACT

We present a novel approach to the challenging problem of label-free text style transfer. Unlike previous approaches that use parallel or non-parallel labeled data, our technique removes the need for labels entirely, relying instead on the implicit connection in style between adjacent sentences in unlabeled text. We show that T5 (Raffel et al., 2020), a strong pretrained text-to-text model, can be adapted to extract a style vector from arbitrary text and use this vector to condition the decoder to perform style transfer. As the resulting learned style vector space encodes many facets of textual style, we recast transfers as targeted restyling vector operations that adjust specific attributes of the input text while preserving others. When trained over unlabeled Amazon reviews data, our resulting TextSETTR model is competitive on sentiment transfer, even when given only four exemplars of each class. Furthermore, we demonstrate that a single model trained on unlabeled Common Crawl data is capable of transferring along multiple dimensions including dialect, emotiveness, formality, politeness, and sentiment.

연구 동기 및 목표

• 레이블이 있는 평행 또는 비평행 데이터가 필요 없이 텍스트 스타일 전이 문제를 해결하고자 한다.
• 인접한 문장 간의 암묵적 스타일 연결을 활용하여 레이블이 없는 텍스트에서 분리된 스타일 벡터 공간을 학습하고자 한다.
• 콘텐츠와 다른 속성을 유지하면서 특정 스타일 속성만 조작하여 타겟된 재스타일링을 가능하게 하고자 한다.
• 클래스당 네 개의 예시만으로도 감성 전이에서 강력한 소수 샘플 성능을 입증하고자 한다.
• 공통 크롤링 데이터와 같은 레이블이 없는 데이터로 훈련된 단일 모델이 여러 스타일 차원 간 전이를 수행할 수 있도록 하고자 한다.

제안 방법

• 입력 텍스트에서 T5를 텍스트-투-텍스트 모델로 활용하여 인접한 문장의 잠재 표현을 이용해 스타일 벡터를 추출한다.
• 추출된 스타일 벡터를 디코더의 조건부로 사용하여 스타일 전이를 조절함으로써 특정 스타일 속성에 대한 제어를 가능하게 한다.
• 학습된 스타일 공간 내에서 벡터 연산으로 스타일 전이를 처리함으로써 감성 또는 공식성과 같은 속성에 대한 타겟 조정이 가능하다.
• 문장 수준의 스타일 일관성에서 유도된 자기지도 학습에 의존하여 레이블이 없는 데이터에서 엔드 투 엔드로 모델을 훈련한다.
• 명시적인 레이블 없이도 다이얼렉트, 감정 표현력, 공식성, 예의, 감성 등 여러 스타일 차원에 적용한다.
• 동일한 문서 내 인접한 문장 간의 스타일 일관성을 강화하기 위해 대비 학습 목표를 적용한다.

실험 결과

연구 질문

• RQ1 인접한 문장 간의 암묵적 스타일 신호를 활용하여 레이블이 없는 데이터로 효과적으로 스타일 전이를 수행할 수 있는가?
• RQ2 단일 모델이 레이블이 없는 데이터만으로도 감성, 공식성, 어조 등 다양한 스타일 차원에 일반화될 수 있는가?
• RQ3 콘텐츠와 다른 속성을 유지하면서 특정 속성만 조작할 수 있도록 스타일 전이를 얼마나 정확하게 제어할 수 있는가?
• RQ4 소수 샘플 설정에서 모델의 성능은 어떠한가, 특히 클래스당 네 개의 예시만으로도 성능이 잘 나오는가?
• RQ5 레이블이 없는 데이터에서 분리된 제어 가능한 스타일 편집을 지원하는 통합된 스타일 벡터 공간을 학습할 수 있는가?

주요 결과

• TextSETTR는 클래스당 네 개의 예시만으로도 감성 전이에서 경쟁적인 성능을 달성하여 강력한 소수 샘플 일반화 능력을 입증한다.
• 공통 크롤링 데이터와 같은 레이블이 없는 데이터로 훈련된 후, 감성, 공식성, 예의, 감정 표현력, 어조 등 여러 스타일 차원으로 일반화된다.
• 학습된 스타일 벡터 공간은 콘텐츠와 다른 스타일 특성을 유지하면서 특정 속성만 조작하여 타겟된 재스타일링을 가능하게 한다.
• 모델은 레이블이 없는 데이터에만 의존하여 평행 또는 비평행 레이블이 있는 데이터가 훈련에 필요 없이 작동한다.
• 이 방법은 인접한 문장 간의 암묵적 스타일 신호가 스타일 표현 학습에 효과적으로 활용될 수 있음을 입증한다.
• 명시적인 스타일 레이블에 대한 감독 없이도 뛰어난 성능을 달성함으로써 자기지도 학습이 스타일 전이에 있어 매우 유용함을 시사한다.