[논문 리뷰] Zero-Shot Fine-Grained Style Transfer: Leveraging Distributed Continuous Style Representations to Transfer To Unseen Styles

Eric M. Smith, Diana Gonzalez-Rico외 2명|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 20인용 수 11

한 줄 요약

이 논문은 재학습 없이도 새로운 감정 스타일로 텍스트를 전이할 수 있는 제로샷 세밀한 스타일 전이 방법을 제안한다. 사전 훈련된 연속 분포 스타일 표현을 활용하여, 재학습 없이도 새로운 감정 스타일로 전이할 수 있도록 한다. 스타일 분류기와 생성 모델을 분리하고 공통의 저차원 임베딩 공간을 사용함으로써, 사전 훈련된 임베딩 투영을 통해 높은 정밀도로 새로운, 미리보지 않은 감정 레이블로의 전이가 가능해진다.

ABSTRACT

Text style transfer is usually performed using attributes that can take a handful of discrete values (e.g., positive to negative reviews). In this work, we introduce an architecture that can leverage pre-trained consistent continuous distributed style representations and use them to transfer to an attribute unseen during training, without requiring any re-tuning of the style transfer model. We demonstrate the method by training an architecture to transfer text conveying one sentiment to another sentiment, using a fine-grained set of over 20 sentiment labels rather than the binary positive/negative often used in style transfer. Our experiments show that this model can then rewrite text to match a target sentiment that was unseen during training.

연구 동기 및 목표

• 추론 시 재학습이나 미세조정이 필요 없이 새로운 세밀한 감정 스타일로 텍스트 스타일 전이를 가능하게 하기.
• 예를 들어 긍정/부정과 같은 이산적이고 거친 스타일 속성의 한계를 극복하기 위해 더 rich하고 세밀한 스타일 제어를 가능하게 하기 위한 연속 분포 표현을 사용하기.
• 훈련 데이터에 포함되지 않은 감정 스타일로의 제로샷 전이를 실험하기 위해, 서로 다른 속성 공간 간에 공통의 임베딩 공간을 활용하기.
• 원천 공간에서 목표 공간으로 임베딩을 투영함으로써, 예를 들어 EmpatheticDialogues와 같은 완전히 다른 속성 공간으로의 전이 가능성 탐색하기.
• 이산 레이블이 아닌 예시 텍스트를 통해 암시적 스타일 지정을 가능하게 하여 양자화 노이즈를 줄이고 스타일 제어의 민첩성을 높이기.

제안 방법

• 공통의 저차원 임베딩 공간 내에서 감정과 같은 스타일 속성에 대해 일관되고 연속적인 분포 표현을 생성하기 위해 사전 훈련된 지도 학습 분류기를 활용한다.
• 생성 모델과 스타일 전이 분류기를 분리하기 위해, 분류기의 출력 임베딩만을 조건 신호로 사용함으로써 엔드 투 엔드 미세조정을 피한다.
• Lample 등(2019)과 유사한 수정된 오토인코더 아키텍처를 사용하며, 이는 이산 레이블이 아니라 사전 계산된 연속 임베딩 벡터를 조건으로 삼는다.
• 원천 속성 공간(예: Reddit 감정)에서 목표 속성 공간(예: EmpatheticDialogues)으로 임베딩을 매핑하기 위해 선형 투영 레이어를 적용함으로써 제로샷 전이를 가능하게 한다.
• 목표 도메인 데이터에 대해 미세조정을 수행하여 스타일 전이 모델이 새로운 언어 스타일과 프레임워크에 적응하도록 하여, 새로운 속성 공간에서의 성능을 향상시킨다.
• 추론 시 소스 텍스트와 목표 스타일 임베딩을 인코딩한 후, 둘 모두에 조건이 되는 시퀀스를 생성하며, 스타일 임베딩는 사전 훈련된 분류기로부터 유도된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 연속 스타일 임베딩만을 사용하여 재학습이나 미세조정 없이도 새로운 감정 스타일로의 텍스트 스타일 전이가 가능한가?
• RQ2 예를 들어 Reddit 감정에서 EmpatheticDialogues와 같은 관련 없는 다른 속성 공간으로 스타일 임베딩을 투영할 때 제로샷 전이의 효과는 어떠한가?
• RQ3 사전 훈련된 스타일 전이 모델이 새로운 도메인에 대해 미세조정을 통해 어느 정도 적응할 수 있으며, 동시에 제로샷 일반화 능력을 유지할 수 있는가?
• RQ4 이산 레이블이 아닌 예시 텍스트를 통해 암시적 스타일 지정을 할 경우 스타일 전이 성능 향상과 양자화 오차 감소에 기여하는가?
• RQ5 원천 임베딩 공간에서 목표 공간으로의 선형 투영 방식이 목표 데이터에 대해 엔드 투 엔드 훈련하는 것과 비교해 성능는 어떠한가?

주요 결과

• 모델은 훈련 중에 볼 수 없었던 감정 레이블로의 제로샷 스타일 전이를 성공적으로 수행하여, 동일한 속성 공간 내에서 새로운 세밀한 스타일 타겟으로의 일반화 능력을 입증하였다.
• Reddit 감정 임베딩에서 선형 투영을 통해 EmpatheticDialogues 데이터셋으로의 제로샷 전이 성능은 열등했으며(분류기 정확도 18% 미만), 이는 원천 임베딩 공간이 목표 도메인과 충분히 일치하지 않음을 시사한다.
• EmpatheticDialogues 데이터셋에 대해 사전 훈련된 스타일 전이 모델을 미세조정함으로써 전이 성능이 크게 향상되었으며, 이는 모델이 목표 도메인 언어에 노출된 경우 도메인 적응이 효과적임을 보여준다.
• 미세조정된 모델의 예시 생성 결과는 다양한 감정 레이블(예: '불안한'을 '희망적인' 또는 '기쁨'으로 변환)에 대해 일관되고 맥락에 부합하는 스타일 전이를 보였다.
• 예시 텍스트를 사용해 목표 스타일 임베딩를 추론함으로써 암시적 스타일 제어가 가능해졌으며, 이는 명시적 레이블이 필요 없이 스타일을 반영하거나 대조할 수 있도록 했다.
• 일관된 임베딩 공간이 확보된 경우, 이 방법은 다른 속성 공간으로도 일반화 가능하며, 다양한 스타일 전이 작업에 넓은 적용 가능성을 보여준다.