[논문 리뷰] Variational Attention for Sequence-to-Sequence Models

Hareesh Bahuleyan, Lili Mou외 2명|arXiv (Cornell University)|2017. 12. 21.

Topic Modeling참고 문헌 27인용 수 20

한 줄 요약

이 논문은 시퀀스-투-시퀀스 모델에서 변분 잠재공간을 우회하는 것을 방지하기 위해 주의 벡터를 가우시안 분포를 가진 랜덤 변수로 모델링하는 변분 주의 메커니즘을 제안한다. 학습 가능한 사전분포를 갖는 확률적 주의 메커니즘을 도입함으로써 출력 품질을 유지하면서도 생성 다양성을 높일 수 있으며, 이는 질문 생성 및 대화 시스템에서 입증되었다.

ABSTRACT

The variational encoder-decoder (VED) encodes source information as a set of random variables using a neural network, which in turn is decoded into target data using another neural network. In natural language processing, sequence-to-sequence (Seq2Seq) models typically serve as encoder-decoder networks. When combined with a traditional (deterministic) attention mechanism, the variational latent space may be bypassed by the attention model, and thus becomes ineffective. In this paper, we propose a variational attention mechanism for VED, where the attention vector is also modeled as Gaussian distributed random variables. Results on two experiments show that, without loss of quality, our proposed method alleviates the bypassing phenomenon as it increases the diversity of generated sentences.

연구 동기 및 목표

• 변분 인코더-디코더(VED) 모델에서 결정론적 주의 메커니즘이 변분 잠재공간을 무력화시키는 '우회 현상'을 해결하기 위해.
• 주의 메커니즘에 확률적 모델링을 통합하여 VED 기반 텍스트 생성 작업에서 생성 시퀀스의 다양성을 향상시키기 위해.
• 생성 품질을 훼손하지 않고도 일반적인 목적의 프레임워크를 개발하기 위해.

제안 방법

• 표준 시퀀스-투-시퀀스 모델에서 결정론적 주의 벡터를 대체하여 주의 벡터를 가우시안 분포를 가진 랜덤 변수로 모델링한다.
• 주의 벡터에 대해 두 가지 타당한 사전분포를 도입한다: 표준 정규분포와 인코더의 은닉 상태 평균을 평균으로 갖는 사전분포.
• 재구성 손실과 사후분포 및 사전분포 간의 KL 발산을 최적화하는 변분 하한 목적함수를 사용해 모델을 엔드 투 엔드로 훈련한다.
• 학습 중 기대값을 근사하기 위해 몬테카를로 샘플링을 사용하여 확률적 주의 벡터를 통해 역전파를 가능하게 한다.
• 질문 생성 및 대화 응답 생성과 같은 시퀀스-투-시퀀스 작업에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 VED 모델에서 결정론적 주의 메커니즘이 변분 잠재공간을 우회하여 생성 다양성을 감소시키는가?
• RQ2 주의 벡터를 확률적 사전분포를 갖는 랜덤 변수로 모델링하면 생성 시퀀스의 다양성이 향상되는가?
• RQ3 생성 다양성과 품질 측면에서 제안된 변분 주의 메커니즘은 결정론적 주의 메커니즘보다 어떻게 비교되는가?

주요 결과

• 질문 생성 및 대화 시스템 모두에서 결정론적 주의 메커니즘과 비교해 제안된 변분 주의 메커니즘이 Dist-1 및 Dist-2 측정 기준으로 문장 다양성을 크게 향상시켰다.
• 질문 생성 작업에서 VED+VAttn-\bar{h}는 샘플링 조건에서 Dist-1이 0.324, Dist-2가 0.467를 기록하여 VED+DAttn(Dist-1: 0.311, Dist-2: 0.450)을 능가했다.
• Cornell Movie-Dialogs Corpus에서 VED+VAttn-\bar{h}는 샘플링 조건에서 BLEU-2 점수가 1.79를 기록하여 VED+DAttn(1.68)을 능가했으며, 이는 품질 향상을 시사한다.
• 모델는 높은 품질의 출력을 유지하며, 결정론적 모델과 유사한 BLEU-2 점수를 기록함으로써 다양성 증가에도 불구하고 품질 저하가 없음을 보여주었다.
• 제거 분석 결과, 사전분포의 선택(예: 평균이 0인 사전분포 또는 은닉 상태 평균을 갖는 사전분포)이 성능에 영향을 미치며, 후자가 더 우수한 성능을 보였다.