[논문 리뷰] Natural Language Generation with Neural Variational Models

Hareesh Bahuleyan|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 81인용 수 9

한 줄 요약

이 논문은 주어진 문장을 더 다양하고 고급스럽게 생성하기 위해 주어진 문장의 어텐션 컨텍스트 벡터를 랜덤 변수로 모델링함으로써 의미 있는 잠재 공간을 가능하게 하는 새로운 변분 어텐션 메커니즘을 갖춘 변분 오토인코더를 제안한다. 이 방법은 결정론적 어텐션 모델보다 더 높은 다양성과 품질을 갖춘 문장을 생성함을 보여주며, 잠재 공간의 분리성은 향상되고 잠재 공간를 건너뛰는 현상은 감소한다.

ABSTRACT

In this thesis, we explore the use of deep neural networks for generation of natural language. Specifically, we implement two sequence-to-sequence neural variational models - variational autoencoders (VAE) and variational encoder-decoders (VED). VAEs for text generation are difficult to train due to issues associated with the Kullback-Leibler (KL) divergence term of the loss function vanishing to zero. We successfully train VAEs by implementing optimization heuristics such as KL weight annealing and word dropout. We also demonstrate the effectiveness of this continuous latent space through experiments such as random sampling, linear interpolation and sampling from the neighborhood of the input. We argue that if VAEs are not designed appropriately, it may lead to bypassing connections which results in the latent space being ignored during training. We show experimentally with the example of decoder hidden state initialization that such bypassing connections degrade the VAE into a deterministic model, thereby reducing the diversity of generated sentences. We discover that the traditional attention mechanism used in sequence-to-sequence VED models serves as a bypassing connection, thereby deteriorating the model's latent space. In order to circumvent this issue, we propose the variational attention mechanism where the attention context vector is modeled as a random variable that can be sampled from a distribution. We show empirically using automatic evaluation metrics, namely entropy and distinct measures, that our variational attention model generates more diverse output sentences than the deterministic attention model. A qualitative analysis with human evaluation study proves that our model simultaneously produces sentences that are of high quality and equally fluent as the ones generated by the deterministic attention counterpart.

연구 동기 및 목표

• 변분 오토인코더(VAE)를 텍스트 생성에 적용할 때, KL 다이버전스 항이 잠재 공간을 무시하게 되는 문제를 해결하기 위해.
• 순차적-순차적 모델에서 전통적인 어텐션 메커니즘이 잠재 공간의 품질을 떨어뜨리는 '건너뛰기' 연결 역할을 하는 방식을 조사하기 위해.
• 컨텍스트 벡터를 확률 변수로 모델링함으로써 잠재 공간 활용을 향상시키기 위해 변분 어텐션 메커니즘을 제안하기 위해.
• 자동 평가 및 인간 평가 지표를 사용하여 제안된 방법이 문장의 다양성과 유창성에 미치는 영향을 평가하기 위해.
• 학습 안정화를 위해 적응형 KL 안내기 및 단어 드롭아웃과 같은 개선된 학습 히우리스틱을 개발하기 위해.

제안 방법

• 문장 수준의 잠재 코드 z와 디코더 컨텍스트 벡터 cj 모두를 가우시안 사후 분포를 갖는 확률 변수로 모델링하는 변분 인코더-디코더(VED) 모델을 제안한다.
• 재표현 기법을 사용하여 VAE의 기울기 역전파가 잠재 변수를 통해 가능하도록 기울기 역전파를 가능하게 한다.
• 변분 어텐션 메커니즘을 도입하여 컨텍스트 벡터 cj가 학습된 가우시안 분포 qϕ(cj|x)에서 샘플링되며, 평균 μcj = c_j^det (결정론적 어텐션)이고 분산 σcj는 신경망을 통해 학습된다.
• cj에 대해 하이브리드 우선분포를 적용: 표준 정규분포 N(0, I) 또는 데이터 기반 우선분포 N(μ_src, I)이며, 여기서 μ_src는 소스 히든 상태의 평균이다.
• 전체 손실 함수에 KL 비용 안내기를 적용하여, 점차적으로 KL 정규화 항의 가중치를 증가시켜 학습 안정화와 후행 수축 방지를 도모한다.
• 학습 중에 단어 드롭아웃을 적용하여 모델의 정규화를 강화하고 잠재 공간의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 제안된 변분 어텐션 메커니즘이 결정론적 어텐션에 비해 생성된 텍스트의 품질과 다양성에 어떻게 기여하는가?
• RQ2 순차적-순차적 모델에서 전통적인 어텐션 메커니즘이 잠재 공간의 품질을 떨어뜨리는 '건너뛰기' 연결 역할을 어느 정도 수행하는가?
• RQ3 KL 안내기 및 단어 드롭아웃과 같은 개선된 학습 히우리스틱이 VAE 기반 텍스트 생성에서 후행 수축을 효과적으로 완화할 수 있는가?
• RQ4 학습된 잠재 공간이 무작위 샘플링, 선형 보간, 이웃 샘플링과 같은 의미 있는 생성 작업을 얼마나 잘 지원하는가?
• RQ5 컨텍스트 벡터를 확률 변수로 모델링함으로써 더 분리되고 의미 있는 잠재 공간을 얻을 수 있는가?

주요 결과

• 제안된 변분 어텐션 모델은 결정론적 어텐션 기준선 대비 distinct-1 및 distinct-2 점수로 측정된 문장 다양성이 유의미하게 높아졌다.
• 자동 평가 결과, 변분 모델이 더 높은 엔트로피를 가지며, 이는 더 높은 어휘 다양성을 의미한다.
• 인간 평가 결과, 변분 모델은 결정론적 모델과 동등한 유창성과 품질을 갖춘 문장을 생성하지만 더 높은 다양성을 보였다.
• 실험 결과, 잠재 공간이 의미 있는 생성 작업을 지원함을 입증했다: 무작위 샘플링, 선형 보간, 이웃 샘플링 모두 일관되고 의미적으로 관련된 문장을 생성했다.
• 디코더가 잠재 코드를 무시하는 '건너뛰기' 현상을 방지하기 위해 잠재 공간을 생성 중 활성적으로 사용함으로써 이 현상을 성공적으로 완화했다.
• 제안된 적응형 KL 안내기 스케줄은 표준 안내기 대비 학습 안정성을 높이고 더 의미 있고 분리된 잠재 공간을 만들어냈다.