[논문 리뷰] Style Example-Guided Text Generation using Generative Adversarial Transformers

Kuo-Hao Zeng, Mohammad Shoeybi외 1명|arXiv (Cornell University)|2020. 03. 02.

Topic Modeling참고 문헌 74인용 수 13

한 줄 요약

이 논문은 생성적 적대적 트랜스포머(GAT)를 사용하여 스타일 예시를 기반으로 한 텍스트 생성 프레임워크를 제안한다. 이 모델은 맥락 문장과 원하는 스타일의 참조 예시를 바탕으로 일관되고 스타일에 맞는 단락을 생성한다. 모델은 참조 예시에서 스타일 코드를 추출하기 위해 스타일 인코더를 사용하고, 맥락과 스타일을 조건으로 하는 트랜스포머 기반 디코더를 통해 텍스트를 생성하여 다양한 스타일 간에 제로샷 스타일 전이를 달성하며, 새로 수집한 데이터셋에서 강력한 정량적·정성적 결과를 얻는다.

ABSTRACT

We introduce a language generative model framework for generating a styled paragraph based on a context sentence and a style reference example. The framework consists of a style encoder and a texts decoder. The style encoder extracts a style code from the reference example, and the text decoder generates texts based on the style code and the context. We propose a novel objective function to train our framework. We also investigate different network design choices. We conduct extensive experimental validation with comparison to strong baselines to validate the effectiveness of the proposed framework using a newly collected dataset with diverse text styles. Both code and dataset will be released upon publication.

연구 동기 및 목표

• 기존 텍스트 생성 모델이 훈련 후 단일 스타일에 고정되어 있는 한계를 해결하기 위해.
• 단일 생성자 모델을 사용하여 동적 스타일 전이를 가능하게 하기 위해.
• 사전 정의된 스타일 레이블이 아닌 참조 예시에 기반하여 생성을 조건화하는 프레임워크를 개발하기 위해.
• 스타일 가이드 텍스트 생성을 위한 효과적인 네트워크 아키텍처와 훈련 목표를 규명하기 위해.
• 다양하고 새로 수집한 데이터셋을 기반으로 프레임워크를 평가하기 위해.

제안 방법

• 프레임워크는 참조 예시 텍스트에서 잠재 스타일 코드를 추출하기 위해 스타일 인코더를 사용한다.
• 트랜스포머 기반 텍스트 디코더는 입력 맥락과 추출된 스타일 코드에 조건을 두고 출력 단락을 생성한다.
• 생성적 적대적 훈련 목표를 도입하여 생성된 텍스트의 품질과 스타일 일관성을 향상시킨다.
• 디스커리미네이터도 트랜스포머 아키텍처를 기반으로 하여 실제 텍스트와 생성된 텍스트를 구분하면서 스타일 충실도를 유지한다.
• 명시적 스타일 레이블 없이 참조 예시와 맥락 입력만을 사용하여 비지도 방식으로 모델을 훈련한다.
• 다양한 생성자 아키텍처와 훈련 전략을 평가하여 최적의 설계 선택을 규명한다.

실험 결과

연구 질문

• RQ1 단일 생성 모델이 참조 예시를 바탕으로 여러 스타일로 동적으로 텍스트를 생성하는 데 성공할 수 있는가?
• RQ2 제안된 적대적 훈련 목표가 스타일 일관성과 유창성 향상에 얼마나 효과적인가?
• RQ3 이 프레임워크에서 스타일 인코더와 텍스트 디코더에 최적의 아키텍처 선택은 무엇인가?
• RQ4 뉴스, 리뷰, 어린이 책과 같은 다양한 텍스트 스타일 간에 모델의 일반화 능력은 어떠한가?
• RQ5 제로샷 스타일 전이에서 모델이 강력한 베이스라인을 얼마나 뛰어넘는가?

주요 결과

• 제안된 프레임워크는 뉴스, 10개의 Yelp 리뷰, 어린이 책, 의료 보고서 등 다양한 스타일 간에 일관되고 스타일에 맞는 단락을 성공적으로 생성한다.
• 정성적 결과는 뉴스와 리뷰와 같이 매우 다를 수 있는 스타일이라도 참조 예시의 스타일과 매우 유사하게 생성된 텍스트를 보여준다.
• 자동 평가 및 인간 평가 지표에서 뛰어난 성능을 보이며, 스타일 전이와 유창성 측면에서 강력한 베이스라인을 능가한다.
• 절단 실험을 통해 제안된 적대적 훈련 목표가 생성 품질과 스타일 준수도 크게 향상시킴을 확인한다.
• 피팅 튜닝 없이도 예측하지 못한 스타일로도 잘 일반화되어 효과적인 제로샷 스타일 전이를 보여준다.
• 다양한 아키텍처 구성에서도 성능이 안정적이며, 트랜스포머 기반 설계가 가장 효과적임을 입증한다.