[논문 리뷰] Long and Diverse Text Generation with Planning-based Hierarchical Variational Model

Shao Zhi-hong, Minlie Huang외 3명|arXiv (Cornell University)|2019. 08. 19.

Topic Modeling참고 문헌 46인용 수 10

한 줄 요약

이 논문은 입력 항목을 문장 수준의 클러스터로 그룹화하는 계획 단계와 그 계획에 조건부로 이루어지는 계층적 생성 단계로 작업을 분해함으로써 장문이고 다양한 텍스트 생성을 위한 계획 기반 계층적 변동 모델(PHVM)을 제안한다. 계획과 문장 실현을 위한 전역 및 국소 잠재 변수를 통합함으로써 PHVM은 커버리지, 일관성, 표현 다양성을 향상시켜广고 및 조리법 텍스트 생성 과제에서 자동 평가 및 수동 평가 모두에서 최신 기준 모델을 능가한다.

ABSTRACT

Existing neural methods for data-to-text generation are still struggling to produce long and diverse texts: they are insufficient to model input data dynamically during generation, to capture inter-sentence coherence, or to generate diversified expressions. To address these issues, we propose a Planning-based Hierarchical Variational Model (PHVM). Our model first plans a sequence of groups (each group is a subset of input items to be covered by a sentence) and then realizes each sentence conditioned on the planning result and the previously generated context, thereby decomposing long text generation into dependent sentence generation sub-tasks. To capture expression diversity, we devise a hierarchical latent structure where a global planning latent variable models the diversity of reasonable planning and a sequence of local latent variables controls sentence realization. Experiments show that our model outperforms state-of-the-art baselines in long and diverse text generation.

연구 동기 및 목표

• 기존 신경망 방법이 장문의 텍스트 생성에서 입력 데이터의 동적 모델링이 열악하고 문장 간 일관성이 떨어지는 등의 한계를 해결하기 위해.
• 저수준의 표면적 변형을 넘어서 표현 다양성을 향상시키기 위해.
• 입력 데이터의 고수준 계획을 통해 장문의 텍스트 생성을 종속적인 문장 생성 하위 과제의 시퀀스로 모델링하기 위해.
• 계층적 잠재 구조를 통해 다양한 계획 전략과 문장 실현을 가능하게 하기 위해.
• 포괄적인 커버리지와 논리적 구성이 요구되는 장문의 텍스트 생성 과제에서 모델을 평가하기 위해.

제안 방법

• 모델은 먼저 전역 계획 잠재 변수를 사용하여 입력 항목 그룹의 시퀀스를 계획하여 장문의 텍스트 생성을 종속적인 문장 생성 과제로 분해한다.
• 각 문장은 이에 해당하는 그룹과 이전에 생성된 문장들의 맥락에 조건부로 생성되며, 이는 문장 간 일관성을 향상시킨다.
• 계층적 변동 오토인코더(VAE) 아키텍처를 사용하며, 전역 잠재 변수는 다양한 계획 전략을 모델링하고 국소 잠재 변수는 문장 수준의 실현을 제어한다.
• 조건부 VAE 학습을 통해 계획 수준과 실현 수준에서 다양성을 주입함으로써 다채롭고 일관성 있는 출력을 가능하게 한다.
• 동적 어텐션 추적과 계획 결정을 지원하는 구조적 표현을 사용해 입력 데이터를 인코딩한다.
• 계획 메커니즘은 입력 항목을 그룹으로 분할하며, 각 그룹은 하나의 문장의 내용 기초가 된다.

실험 결과

연구 질문

• RQ1 종단 간 순차-순차 모델과 비교해 계획 기반 계층적 변동 모델이 장문의 텍스트 생성에서 커버리지와 일관성을 향상시킬 수 있는가?
• RQ2 계층적 잠재 구조가 동일한 입력에 대해 다양한 계획 전략과 문장 실현을 얼마나 잘 포괄할 수 있는가?
• RQ3 모델은 포괄적인 속성 커버리지가 요구되는 장문의 광고 텍스트를 생성할 때 어떻게 성능을 내는가?
• RQ4 모델은 단계 간 일관성과 재료 사용이 중요한 조리법 생성과 같이 다른 데이터-텍스트 과제로 일반화될 수 있는가?
• RQ5 전역 및 국소 잠재 변수는 유창성과 논리적 구조를 유지하면서 표현 다양성에 어떻게 기여하는가?

주요 결과

• PHVM은 광고 텍스트 생성 과제에서 자동 평가 및 수동 평가 모두에서 최신 기준 모델을 뚜렷이 능가했으며, 생성된 텍스트의 평균 품질 점수가 5점 만점에 4.27로 높았다.
• 생성된 텍스트의 79.0%가 4.0점 이상의 품질 점수를 기록하여 다양한 입력에 걸쳐 일관된 고성능 출력을 보였다.
• 계획 결과의 Self-BLEU 점수 43.37%와 최종 텍스트의 Self-BLEU 점수 16.87%는 계획과 표면 형태 모두에서 상당한 다양성을 확인했다.
• 조리법 생성 과제에서 PHVM은 기준 모델보다 주어진 재료의 커버리지가 높고 '모든 재료'와 같은 일반적인 표현의 사용을 줄였다.
• 입력 크기가 증가함에 따라 성능이 유지되었으며, 입력 복잡성이 증가함에 따라 더 다채로운 계획 결과를 생성했지만, 입력 쌍 수가 12개를 초과하면 데이터 희소성으로 인해 약간의 성능 저하가 발생했다.
• 수동 평가 결과, PHVM은 문법성과 일관성에서 기준 모델을 뚜렷이 능가했으며, 평가자 간 중도 수준의 일致도를 보여주는 Fleiss’ kappa 값 0.483를 기록했다.