[논문 리뷰] Zero-Shot Style Transfer in Text Using Recurrent Neural Networks.

Keith Carlson, Allen Riddell외 1명|arXiv (Cornell University)|2017. 11. 13.

Natural Language Processing Techniques참고 문헌 48인용 수 24

한 줄 요약

이 논문은 쌍이 없는 예시 없이 스타일 전이를 수행할 수 있는 제로샷 스타일 전이 방법을 제안한다. 이는 정렬된 성경 번역본을 기반으로 훈련된 순차적-순차적 RNN 모델을 사용한다. 모델은 BLEU 및 PINC 지표에서 Moses를 능가하여 우수한 다원화 품질과 텍스트 단순화와 같은 작업에 광범위하게 적용 가능함을 보여준다.

ABSTRACT

Zero-shot translation is the task of translating between a language pair where no aligned data for the pair is provided during training. In this work we employ a model that creates paraphrases which are written in the style of another existing text. Since we provide the model with no paired examples from the source style to the target style during training, we call this task zero-shot style transfer. Herein, we identify a high-quality source of aligned, stylistically distinct text in Bible versions and use this data to train an encoder/decoder recurrent neural model. We also train a statistical machine translation system, Moses, for comparison. We find that the neural network outperforms Moses on the established BLEU and PINC metrics for evaluating paraphrase quality. This technique can be widely applied due to the broad definition of style which is used. For example, tasks like text simplification can easily be viewed as style transfer. The corpus itself is highly parallel with 33 distinct Bible Versions used, and human-aligned due to the presence of chapter and verse numbers within the text. This makes the data a rich source of study for other natural language tasks.

연구 동기 및 목표

• 쌍이 없는 훈련 예시 없이 순환 신경망을 사용하여 텍스트에서 제로샷 스타일 전이를 가능하게 하기.
• 인간이 정렬한 성경 번역본을 활용하여 스타일이 뚜렷하게 구분되는 병렬 텍스트의 풍부한 자료를 확보하기.
• BLEU 및 PINC와 같은 기존 지표를 사용하여 모델의 다원화 품질 성능 평가하기.
• 텍스트 단순화와 같은 작업을 스타일 전이 문제로 자연스럽게 재정의함으로써 방법의 일반화 가능성 입증하기.

제안 방법

• 스타일 전이를 위해 인코더-디코더 아키텍처로 순차적-순차적 RNN 아키텍처를 사용한다.
• 모델은 챕터와 절이 정렬되어 있어 본질적으로 병렬인 33종의 다른 성경 번역본으로 훈련된다.
• 훈련 데이터는 스타일 쌍에 대한 명시적 소스-타겟 스타일 쌍이 필요 없이 스타일적 다양성을 제공한다.
• 입력에서 콘텐츠 및 스타일 표현에 주의를 기울임으로써 모델은 목표 스타일의 다원화를 생성한다.
• 기준 비교를 위해 통계적 기계 번역 시스템(Moses)을 훈련하고 사용한다.
• 표준 지표를 사용하여 평가한다: BLEU는 유창성에, PINC는 다원화 품질에 대해 평가한다.

실험 결과

연구 질문

• RQ1 신경망 기반의 순차적-순차적 모델은 소스 스타일과 타겟 스타일 간의 쌍이 없는 예시 없이 제로샷 스타일 전이를 수행할 수 있는가?
• RQ2 RNN 기반 모델은 스타일 전이 품질 측면에서 강력한 통계적 기계 번역 기준(Moses)과 비교해 어떻게 성능을 내는가?
• RQ3 이 모델은 텍스트 단순화와 같은 다른 텍스트 스타일 전이 작업으로 얼마나 일반화될 수 있는가?
• RQ4 성경 자료는 고품질의 병렬 텍스트와 스타일이 다양한 훈련 자료로 얼마나 효과적인가?

주요 결과

• RNN 기반 모델은 BLEU 및 PINC 지표에서 Moses 통계적 기계 번역 시스템을 모두 능가하여 더 뛰어난 다원화 품질을 보였다.
• 33종의 성경 번역본에서 얻는 풍부한 스타일적 다양성을 활용하여 쌍이 없는 예시 없이도 효과적인 제로샷 스타일 전이를 달성했다.
• 일관된 챕터 및 절 번호를 가진 성경 자료의 인간이 정렬한 구조는 고품질의 병렬 훈련 데이터를 가능하게 했다.
• 이 방법은 넓은 적용 범위를 지닌다. 텍스트 단순화 및 유사 작업은 자연스럽게 스타일 전이 문제로 재정의될 수 있다.
• 결과적으로 스타일 쌍 간에 명시적인 병렬 데이터가 없더라도 고품질의 스타일 전이가 가능함을 입증했다.