[논문 리뷰] Latent Alignment and Variational Attention

Yuntian Deng, Yoon Kim외 3명|arXiv (Cornell University)|2018. 07. 10.

Topic Modeling인용 수 85

한 줄 요약

논문은 잠재 정렬 모델로서의 변분 주의(attention)를 제시하고, 변분(범주형) 주의가 NMT와 VQA에서 소프트 주의와 하드 주의보다 성능이 뛰어나면서 소프트 주의와 비슷한 학습 효율성을 유지할 수 있음을 보인다.

ABSTRACT

Neural attention has become central to many state-of-the-art models in natural language processing and related domains. Attention networks are an easy-to-train and effective method for softly simulating alignment; however, the approach does not marginalize over latent alignments in a probabilistic sense. This property makes it difficult to compare attention to other alignment approaches, to compose it with probabilistic models, and to perform posterior inference conditioned on observed data. A related latent approach, hard attention, fixes these issues, but is generally harder to train and less accurate. This work considers variational attention networks, alternatives to soft and hard attention for learning latent variable alignment models, with tighter approximation bounds based on amortized variational inference. We further propose methods for reducing the variance of gradients to make these approaches computationally feasible. Experiments show that for machine translation and visual question answering, inefficient exact latent variable models outperform standard neural attention, but these gains go away when using hard attention based training. On the other hand, variational attention retains most of the performance gain but with training speed comparable to neural attention.

연구 동기 및 목표

• Soft 주의를 넘어선 주의에서의 잠재 변수 정렬 동기 부여.
• 암묵적 추론으로 변분 주의 아키텍처(범주형 및 완화형) 개발.
• 주변 가능도에 대한 경계를 촘촘히 하여 정렬 추정치를 개선.
• NMT와 VQA에서 변분 주의와 Soft/Hard 주의 간의 경험적 비교.
• 스케일러블한 잠재 정렬 모델을 가능하게 하는 학습 및 추론 전략 조사.

제안 방법

• 잠재 정렬을 z가 정렬 분포 a(x, tilde{x}; theta)에서 샘플링된 것으로 형식화합니다.
• 두 가지 변분 주의 변형: 범주형(암묵적 VI와 REINFORCE 기준선) 및 완화형(Dirichlet) 주의.
• q(z; lambda)를 매개화하는 암묵적 추론 네트워크 enc를 사용하고 KL 정규화가 있는 ELBO를 최적화합니다.
• Variational bounds를 통해 로그 p(y|x, tilde{x})에 연결된 목적함수로 학습하여 기울기 추정기를 개선합니다(기준선, REINFORCE 또는 재매개화).
• 도메인 특화 인코더와 주의 모듈과 함께 신경 기계 번역(NMT) 및 시각 질문 응답(VQA)에 적용합니다.

실험 결과

연구 질문

• RQ1 변분 추론을 통한 잠재 정렬의 주변화를 통해 소프트/하드 주의보다 실무적으로 개선될 수 있는가?
• RQ2 변분 주의가 비용이 많이 들지 않으면서도 더 나은 사후 정렬 및 해석 가능성을 제공할 수 있는가?
• RQ3 NMT와 VQA에서 범주형 대 완화형(Dirichlet) 변분 정렬은 어떻게 비교되는가?
• RQ4 변분 주의의 안정화를 위해 어떤 학습/추론 전략(기준선, REINFORCE, Gumbel-Softmax, RWS)이 가장 효과적인가?
• RQ5 가능할 때 정확한 주변 가능도가 유리한가, 그리고 변분 방법이 그것에 얼마나 근접할 수 있는가?

주요 결과

• 가능한 경우 정확한 주변 가능도가 소프트 주의보다 개선될 수 있다.
• 변분(범주형) 주의는 로그 가능도 지표에서 NMT와 VQA 모두에서 소프트 및 하드 주의보다 앞서며, 학습 효율은 소프트 주의에 근접하다.
• 하드 주의는 소프트 주의에 미치지 못하는 경향을 보여 제슨 부등식이 실제로는 좋은 한계가 아님을 시사한다.
• NMT에서 enumeration 또는 sampling을 통한 변분 주의는 WMT13/17 규모를 포함한 표준 벤치마크에서 소프트/하드 기준선과 비교하여 BLEU 및 PPL에서 비슷하거나 더 나은 성능을 달성한다.
• 완화형(Dirichlet) 주의는 실험에서 범주형 변형에 비해 성능이 떨어지지만, 사후 추론 능력을 제공한다.