[논문 리뷰] What is wrong with style transfer for texts?

Alexey Tikhonov, Ivan P. Yamshchikov|arXiv (Cornell University)|2018. 08. 13.

Topic Modeling참고 문헌 10인용 수 11

한 줄 요약

이 논문은 텍스트 스타일 전이 분야의 공감대 부족을 비판하며, 비합리적인 세 가지 범주를 지목한다: 수시로 정의된 스타일 메트릭, NMT 기반의 병렬 코퍼스, 그리고 NMT 이후의 제로샷 방법. 본 논문은 스타일이 의미와 수직이 되도록 공식화하는 것을 제안하며, 의미적 거리와 스타일적 거리를 분리하는 손실 함수를 사용하여 명시적인 스타일 정의 없이도 타당한 스타일 전이를 가능하게 한다.

ABSTRACT

A number of recent machine learning papers work with an automated style transfer for texts and, counter to intuition, demonstrate that there is no consensus formulation of this NLP task. Different researchers propose different algorithms, datasets and target metrics to address it. This short opinion paper aims to discuss possible formalization of this NLP task in anticipation of a further growing interest to it.

연구 동기 및 목표

• 최근 NLP 연구에서 텍스트 스타일 전이의 공식화가 분열되고 일관성 없이 이루어지고 있음을 식별하고 비판하는 것.
• 수시로 정의된 스타일 전이, NMT 기반의 접근, 그리고 NMT 이후의 방법을 구분하여 각각의 근본적 결함을 드러내는 것.
• 스タイル이 감정이나 사전 정의된 카테고리로 환원될 수 없는, 의미와 수직인 잠재 차원으로 간주되어야 한다는 주장을 펼치는 것.
• 의미-스타일 분리에 기반한 손실 함수를 사용하여, 임베딩 공간 내의 거리 측정을 통해 의미-스타일 분리 기반의 공식화된 스타일 전이 프레임워크를 제안하는 것.
• 스타일이 의미적 내용과 독립적이어야 한다는 기준을 설정하여 타당하고 의미 있는 스타일 전이 작업을 보장하는 것.

제안 방법

• 의미-스타일 병행 공간 내에서 잠재 스타일 차원을 따라 평행 이동하는 방식으로 스타일 전이를 공식화하는 것.
• 전체 손실을 의미 거리 $ D_{\mathbb{R}^n}(X,\tilde{X}) $ 와 스타일 거리 $ D_S(X,\tilde{X}) $ 의 합으로 정의하며, 스타일 공간 $ S $ 에 구조를 도입하지 않는 것.
• 의미 임베딩 공간 $ \mathbb{R}^n $ 과 스타일 차원 $ \mathbb{S} $ 의 곱인 $ \mathbb{R}^n \otimes \mathbb{S} $ 에서 문장 표현을 사용하는 것.
• 명시적인 스타일 레이블이나 병렬 코퍼스가 필요 없이, 코퍼스 수준의 탐색을 통해 스타일 분포를 정의하는 것.
• 스타일이 의미와 수직이어야 한다는 강조: 어떤 의미적 내용이라도 어떤 스타일로도 표현될 수 있어야 한다.
• 스タイル의 명시적 분해를 피하기 위해, 소스와 타겟 스타일 분포 간의 집단 수준 매칭을 사용하는 것.

실험 결과

연구 질문

• RQ1 연구 관심이 증가하는 데도 불구하고, 텍스트 스타일 전이의 정의에 공감대가 없는 이유는 무엇인가?
• RQ2 감정이나 분류기 기반의 카테고리적 특징으로 스타일을 정의하는 비합리적 접근은 전체적인 스타일적 의미를 어떻게 실패로 이끄는가?
• RQ3 의미는 동일하지만 스타일이 다른 병렬 코퍼스가 희소할 경우, NMT 기반 방법의 일반화 가능성은 어느 정도인가?
• RQ4 병렬 데이터 없이도 NMT 이후 방법이 타당한 스타일 전이를 달성할 수 있는가? 그리고 어떤 제약 조건을 맞닥뜨리는가?
• RQ5 스타일 전이 작업이 타당하고 의미 있는 것으로 간주되기 위해 충족해야 할 공식 기준은 무엇인가?

주요 결과

• 감정이나 특정 언어적 특징을 스타일로 간주하는 비합리적 접근은 스타일과 의미를 비수직적으로 분해함으로써 임의의 구조를 도입하므로 실패한다.
• NMT 기반 방법은 의미는 동일하지만 스타일이 다른 병렬 코퍼스의 희소성으로 인해 제한을 받으며, 이는 수작업이 많고 확장성이 떨어진다.
• NMT 이후 방법은 병렬 데이터가 필요 없지만 여전히 의미와 독립적인 방식으로 스타일을 정의하는 데 어려움을 겪는다.
• 제안된 공식화는 스타일이 의미와 수직이 되도록 보장하여, 어떤 의미적 내용이라도 어떤 스타일로나 표현할 수 있도록 한다.
• 손실 함수 $ \mathcal{L}_{total}(X,\tilde{X}) = D_{\mathbb{R}^n}(X,\tilde{X}) + D_S(X,\tilde{X}) $ 는 스타일 공간에 사전 정의된 구조를 가정하지 않으며, 타당한 스타일 전이를 가능하게 한다.
• 사전 정의된 스타일 속성에 의존하지 않고, 공통된 표현 공간 내에서 분포 매칭을 통해 스타일을 학습함으로써 비합리적 메트릭의 함정을 피하는 프레임워크를 제공한다.