[論文レビュー] Latent Alignment and Variational Attention

Yuntian Deng, Yoon Kim+3 more|arXiv (Cornell University)|Jul 10, 2018

Topic Modeling被引用数 85

ひとこと要約

論文は variational attention を神経ネットワークの注意の潜在的整列モデルとして導入し、 variational（categorical） attention が soft 及び hard attention を上回ることを NMT および VQA で示しつつ、訓練効率は soft attention に匹敵する。

ABSTRACT

Neural attention has become central to many state-of-the-art models in natural language processing and related domains. Attention networks are an easy-to-train and effective method for softly simulating alignment; however, the approach does not marginalize over latent alignments in a probabilistic sense. This property makes it difficult to compare attention to other alignment approaches, to compose it with probabilistic models, and to perform posterior inference conditioned on observed data. A related latent approach, hard attention, fixes these issues, but is generally harder to train and less accurate. This work considers variational attention networks, alternatives to soft and hard attention for learning latent variable alignment models, with tighter approximation bounds based on amortized variational inference. We further propose methods for reducing the variance of gradients to make these approaches computationally feasible. Experiments show that for machine translation and visual question answering, inefficient exact latent variable models outperform standard neural attention, but these gains go away when using hard attention based training. On the other hand, variational attention retains most of the performance gain but with training speed comparable to neural attention.

研究の動機と目的

• attention における soft attention を超える潜在変数整列の動機づけ。
• amortized inference を伴う variational attention アーキテクチャ（categorical および relaxed）を開発。
• 周辺尤度の境界を引き締めて整列推定を改善。
• NMT および VQA において variational attention を soft および hard attention と経験的に比較。
• スケーラブルな潜在整列モデルを実現する訓練・推論戦略を検討。

提案手法

• latent alignment を z が alignment distribution a(x, tilde{x}; theta) から drawn されるとして形式化。
• two variational attention variants を導入: categorical（REINFORCE ベースラインを用いた amortized VI）と relaxed（Dirichlet） attention。
• enc を用いて q(z; lambda) をパラメータ化し KL 正則化を伴う ELBO を最適化。
• variational bounds を介して log p(y|x, tilde{x}) に結びつく目的関数で訓練し、勾配推定量を改善（ベースライン、REINFORCE、または reparameterization）。
• ニューラル機械翻訳（NMT）および Visual Question Answering（VQA）に、ドメイン固有の encoder と attention モジュールを適用。

実験結果

リサーチクエスチョン

• RQ1 潜在整列を variational inference で積分することは、実務上 soft および hard attention を改善するか。
• RQ2 variational attention は訓練コストが大きくなることなく、より良い posterior 整合と解釈可能性を提供できるか。
• RQ3 NMT および VQA において categorical と relaxed（Dirichlet） variational alignment はどのように比較されるか。
• RQ4 どの訓練／推論戦略（ベースライン、REINFORCE、Gumbel-Softmax、RWS）が variational attention を最も安定化させるか。
• RQ5 解析的周辺尤度が実現可能な場合に有利か、また variational 法がどれだけ近づけるか。

主な発見

• 実現可能な場合、正確な周辺尤度は soft attention よりも改善する。
• NMT および VQA において variational（categorical） attention は log-likelihood 指標で soft および hard attention を上回り、訓練効率は soft attention に近い。
• hard attention は soft attention を下回り、ジャンセンの不等式が実務上は貧しい境界であることを示唆。
• NMT では enumerate または sampling を用いた variational attention が、WMT13/17 スケールを含む標準ベンチマークで soft および hard ベースラインと同等かそれ以上の BLEU および PPL を達成。
• Relaxed（Dirichlet） attention は実験ではカテゴリカル variante に比べて劣る一方、後方推論機能は提供。