[논문 리뷰] Toward Controlled Generation of Text

Zhiting Hu, Zichao Yang외 3명|arXiv (Cornell University)|2017. 03. 02.

Topic Modeling참고 문헌 34인용 수 149

한 줄 요약

본 논문은 전반적 속성 판별기로 보강된 VAE 기반 텍스트 생성기를 제시하여 해석 가능한, 제어 가능한 문장 생성을 달성하고, wake-sleep 스타일의 학습과 이산 텍스트에 대한 미분가능한 소프트맥스 근사를 사용한다.

ABSTRACT

Generic generation and manipulation of text is challenging and has limited success compared to recent deep generative modeling in visual domain. This paper aims at generating plausible natural language sentences, whose attributes are dynamically controlled by learning disentangled latent representations with designated semantics. We propose a new neural generative model which combines variational auto-encoders and holistic attribute discriminators for effective imposition of semantic structures. With differentiable approximation to discrete text samples, explicit constraints on independent attribute controls, and efficient collaborative learning of generator and discriminators, our model learns highly interpretable representations from even only word annotations, and produces realistic sentences with desired attributes. Quantitative evaluation validates the accuracy of sentence and attribute generation.

연구 동기 및 목표

• 해석 가능한 잠재 표현으로 제어 가능하고 현실적인 텍스트 생성의 필요성을 동기 부여한다.
• 생성 문장에서 해리되고 독립적인 속성 제어를 강제하는 신경망 모델을 개발한다.
• 판별기와 wake-sleep 협업을 활용하여 반지도 학습이 가능하도록 한다.
• 감정과 시제의 제어된 생성을 시연하고 그럴듯한 짧은 문장을 보인다.
• 단어 수준의 라벨이 문장 수준의 속성 제어와 해리를 유도할 수 있음을 보인다.

제안 방법

• 명시적 속성(예: 감정, 시제)을 위한 구조화된 잠재 코드 c를 가진 VAE를 확장한다.
• 이산 텍스트에 대한 미분 가능한 소프트맥스 근사를 통해 생성을 유도하기 위해 속성당 판별기를 부착한다.
• 인코더를 추가 판별기로 사용하여 z(비구조 코드)와 c의 독립성을 장려한다.
• 생성 샘플이 생성기와 판별기를 함께 학습하도록 확장된 wake-sleep 학습 루프를 채용한다.
• 레이블링된 데이터에서 판별기를 학습시키고 비레이블 데이터는 VAE 재구성을 위해 사용하는 반지도 학습을 허용한다.
• 생성 샘플에 대한 판별기 예측의 강건성을 높이기 위해 최소 엔트로피 정규화를 도입한다.

실험 결과

연구 질문

• RQ1 해리된 속성별 잠재 코드가 다른 특징과 얽히지 않으면서 생성된 텍스트를 제어할 수 있는가?
• RQ2 전체적 속성 판별기 프레임워크가 재구성 기반 방법과 비교하여 제어 가능한 텍스트 생성을 향상시키는가?
• RQ3 제한된 속성 라벨을 활용한 반지도 학습이 제어 가능한 생성을 학습하는 데 얼마나 효과적인가?
• RQ4 구조화된 잠재 코드와 비구조 코드 사이의 독립성 제약이 달성 가능하고 해석성에 이로운가?
• RQ5 단어 수준 또는 부분 주석이 문장 수준의 속성 제어(예: 감정, 시제)를 유도하는 데 충분한가?

주요 결과

• 제안된 모델은 SST-full, SST-small, Lexicon 데이터셋에서 S-VAE와 비교하여 감정 속성 생성 정확도를 향상시킨다( SST-full에서 0.851 대 0.822; SST-small에서 0.707 대 0.679; Lexicon에서 0.701 대 0.660).
• 독립성 제약이 있는 해방된 표현은 제약이 없는 모델에 비해 속성 코드를 바꿨을 때 더 해석 가능한 변화를 낳는다.
• 단어 수준 라벨이나 적은 수의 라벨 문장만으로도 유용한 감정 및 시제 제어를 학습하여 문장 수준 속성 조작이 가능하다.
• 생성된 샘플은 학습 데이터를 보강하고 다운스트림 감정 분류기를 개선하는 데 사용할 수 있다.
• 수면/깨어있기 유사한 학습 절차는 생성기와 판별기 간의 효율적 상호 부트스트랩을 가능하게 하여 제한된 감독으로 반지도 학습을 달성한다.