[논문 리뷰] Controllable Text Generation.

Zhiting Hu, Zichao Yang외 3명|arXiv (Cornell University)|2017. 03. 02.

Topic Modeling참고 문헌 23인용 수 78

한 줄 요약

이 논문은 변분 자동차오디터(Variational Auto-encoders)와 통합적 속성 식별기들을 통해 분리된 잠재 표현을 학습하여 제어 가능한 텍스트 생성을 가능하게 하는 신경 생성 모델을 제안한다. 이 글은 이산 텍스트에 대한 미분 가능한 근사치와 속성 제어에 대한 명시적 제약 조건을 통합함으로써, 단어 수준의 애너테이션에서도 현실적이고 의미적으로 구조화된 문장을 높은 해석 가능성과 정확도로 생성할 수 있다.

ABSTRACT

Generic generation and manipulation of text is challenging and has limited success compared to recent deep generative modeling in visual domain. This paper aims at generating plausible natural language sentences, whose attributes are dynamically controlled by learning disentangled latent representations with designated semantics. We propose a new neural generative model which combines variational auto-encoders and holistic attribute discriminators for effective imposition of semantic structures. With differentiable approximation to discrete text samples, explicit constraints on independent attribute controls, and efficient collaborative learning of generator and discriminators, our model learns highly interpretable representations from even only word annotations, and produces realistic sentences with desired attributes. Quantitative evaluation validates the accuracy of sentence and attribute generation.

연구 동기 및 목표

• 정밀하고 동적일 수 있는 의미적 속성 제어를 갖춘 자연어 생성 문제를 해결하기 위해.
• 예를 들어 단어 애너테이션과 같은 최소한의 감독 하에 해석 가능한 분리된 표현을 학습하기 위해.
• 독립된 속성 제어에 대한 명시적 제약 조건을 통합하여 텍스트 생성 품질을 향상시키기 위해.
• 생성자와 식별기 간의 효과적인 공동 학습을 통해 의미적 구조 강화를 가능하게 하기 위해.

제안 방법

• 모델은 변분 자동차오디터(Variational Auto-encoders, VAEs)와 통합적 속성 식별기를 조합하여 분리된 잠재 표현을 학습한다.
• 이산 텍스트 샘플에 대한 미분 가능한 근사치를 사용하여 잠재 공간에서 기울기 기반 최적화를 가능하게 한다.
• 생성 과정에서 개별 속성에 대해 독립적인 제어를 보장하기 위해 명시적 제약 조건을 적용한다.
• 생성자와 식별기를 공동으로 학습시켜 의미적 구조와 현실성 향상을 도모한다.
• 속성 감독을 위해 단어 수준의 애너테이션만 존재하는 경우에도 효과적으로 작동하도록 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 최소한의 감독, 예를 들어 단어 애너테이션으로부터 분리된 잠재 표현을 효과적으로 학습할 수 있는가?
• RQ2 특정 속성에 대해 정밀한 제어를 갖는 현실적인 문장을 모델이 얼마나 잘 생성할 수 있는가?
• RQ3 속성 독립성에 대한 명시적 제약 조건이 생성 품질과 해석 가능성에 얼마나 기여하는가?
• RQ4 생성자와 식별기의 공동 학습이 의미적 구조 학습에 어떻게 기여하는가?

주요 결과

• 모델은 문장과 지정된 속성 모두에 대해 높은 정확도로 생성하여 효과적인 제어를 입증한다.
• 단어 수준의 애너테이션에서도 분리된 잠재 표현이 성공적으로 학습되어 해석 가능한 제어가 가능하다.
• 이산 텍스트에 대한 미분 가능한 근사치는 기울기 기반 최적화를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 속성 독립성에 대한 명시적 제약 조건은 생성 과정에서 더 신뢰할 수 있고 정밀한 속성 제어를 이끈다.