[논문 리뷰] Learning Neural Templates for Text Generation

Sam Wiseman, Stuart M. Shieber외 1명|arXiv (Cornell University)|2018. 08. 30.

Topic Modeling참고 문헌 48인용 수 8

한 줄 요약

이 논문은 디지털로 해석 가능한 텍스트 생성 템플릿과 신경 시퀀스 생성을 함께 학습하는 신경 은닉 준마르코프 모델(HSMM) 디코더를 제안한다. 템플릿을 은닉 구조로 모델링함으로써, 성능이 표준 인코더-디코더 모델과 유사한 실세계 텍스트 생성 작업에서 해석 가능성과 제어 가능성 향상을 동시에 달성한다.

ABSTRACT

While neural, encoder-decoder models have had significant empirical success in text generation, there remain several unaddressed problems with this style of generation. Encoder-decoder models are largely (a) uninterpretable, and (b) difficult to control in terms of their phrasing or content. This work proposes a neural generation system using a hidden semi-markov model (HSMM) decoder, which learns latent, discrete templates jointly with learning to generate. We show that this model learns useful templates, and that these templates make generation both more interpretable and controllable. Furthermore, we show that this approach scales to real data sets and achieves strong performance nearing that of encoder-decoder text generation models.

연구 동기 및 목표

• 블랙박스 신경 인코더-디코더 텍스트 생성 모델의 해석 가능성과 제어성 부족 문제를 해결하기 위해.
• 신경 텍스트 생성을 이끄는 이산적이고 템플릿 유사한 구조를 데이터 기반으로 학습하는 방법을 개발하기 위해.
• 학습 가능한 해석 가능한 템플릿을 통해 생성 텍스트의 내용과 어조에 대한 명시적 제어를 가능하게 하기 위해.
• 표준 신경 시퀀스 모델과 비슷한 성능를 유지하면서도 실세계 데이터셋에까지 적용 가능한 접근법을 확장하기 위해.

제안 방법

• 모델는 훈련 중에 은닉 구조로 작용하는 이산적 템플릿을 학습하기 위해 신경 은닉 준마르코프 모델(HSMM) 디코더를 사용한다.
• 각 템플릿은 다수의 표면 실현 방식을 가진 세그먼트로 구성되어 있어 언어적 다양성을 가능하게 한다.
• 해당 시스템은 디코딩 중에 소스 컨텐츠로 템플릿 슬롯을 채우기 위해 복사 주의 메커니즘을 활용한다.
• 역전파를 추론 과정을 통해 수행함으로써 템플릿 구조와 생성 과정을 동시에 최적화할 수 있도록 훈련이 수행된다.
• 다양화 가능한 추론 과정을 통해 템플릿 발견과 유창한 텍스트 생성을 동시에 최적화한다.
• 구조화되고 학습 가능한 템플릿을 통해 콘텐츠 선택과 표면 실현을 모두 지원한다.

실험 결과

연구 질문

• RQ1 신경 모델이 수동 설계 없이도 해석 가능한 이산적 템플릿을 학습할 수 있는가?
• RQ2 생성과 함께 템플릿을 학습함으로써 어조와 내용 구성에 대한 제어성이 향상되는가?
• RQ3 이러한 시스템이 실세계 텍스트 생성 작업에서 표준 인코더-디코더 모델과 경쟁 가능한 성능를 달성할 수 있는가?
• RQ4 학습된 템플릿이 다양한 입력 지식 기반에 걸쳐 얼마나 잘 일반화되는가?
• RQ5 블랙박스 신경 생성 방식에 비해 템플릿 기반 접근법이 해석 가능성 향상에 얼마나 기여하는가?

주요 결과

• 모델는 데이터의 언어적 및 구조적 패턴을 반영하는 의미 있는 해석 가능한 템플릿을 학습한다.
• 학습된 템플릿을 사용한 생성 텍스트는 어조와 구성에 대한 제어성이 향상된 것으로 나타났다.
• E2E 및 WikiBio와 같은 벤치마크 데이터셋에서 표준 인코더-디코더 모델과 유사한 생성 성능를 달성했다.
• 신경 HSMM은 자연어 단위와 일치하는 계층적이고 세그먼트 기반의 구조를 성공적으로 발견했다.
• 템플릿과 생성 구성 요소를 동시에 최적화할 수 있도록 효과적인 추론을 통한 역전파가 가능했다.
• 실험 결과, 실세계 NLG 작업에서 강력한 베이스라인 대비 템플릿 품질과 생성의 자연스러움에서 모델가 뛰어난 성능를 보였다.