[論文レビュー] Best of Both Worlds: Transferring Knowledge from Discriminative Learning to a Generative Visual Dialog Model

Jiasen Lu, Anitha Kannan+3 more|arXiv (Cornell University)|Jun 5, 2017

Multimodal Machine Learning Applications参考文献 47被引用数 86

ひとこと要約

この論文は、識別的な視覚対話モデルから生成モデルへ知識を移転する訓練フレームワークを提示し、Gumbel-Softmaxを用いて生成モデルがより多様で有益な応答を生成できるようにすることで、VisDialの性能を向上させた。

ABSTRACT

We present a novel training framework for neural sequence models, particularly for grounded dialog generation. The standard training paradigm for these models is maximum likelihood estimation (MLE), or minimizing the cross-entropy of the human responses. Across a variety of domains, a recurring problem with MLE trained generative neural dialog models (G) is that they tend to produce 'safe' and generic responses ("I don't know", "I can't tell"). In contrast, discriminative dialog models (D) that are trained to rank a list of candidate human responses outperform their generative counterparts; in terms of automatic metrics, diversity, and informativeness of the responses. However, D is not useful in practice since it cannot be deployed to have real conversations with users. Our work aims to achieve the best of both worlds -- the practical usefulness of G and the strong performance of D -- via knowledge transfer from D to G. Our primary contribution is an end-to-end trainable generative visual dialog model, where G receives gradients from D as a perceptual (not adversarial) loss of the sequence sampled from G. We leverage the recently proposed Gumbel-Softmax (GS) approximation to the discrete distribution -- specifically, an RNN augmented with a sequence of GS samplers, coupled with the straight-through gradient estimator to enable end-to-end differentiability. We also introduce a stronger encoder for visual dialog, and employ a self-attention mechanism for answer encoding along with a metric learning loss to aid D in better capturing semantic similarities in answer responses. Overall, our proposed model outperforms state-of-the-art on the VisDial dataset by a significant margin (2.67% on recall@10). The source code can be downloaded from https://github.com/jiasenlu/visDial.pytorch.

研究の動機と目的

• 安全で一般的な応答の問題に対処するため、MLEで訓練された生成的視覚対話モデルの問題を解決する。
• 識別モデルを perceptual loss のソースとして活用し、エンドツーエンドの生成器の訓練を可能にする。
• 地に足のついた理解と指示参照解決を改善する新規エンコーダ（HCIAE）と注意機構に基づく応答エンコーディングを提案する。
• 離散系列をバックプロパゲーションできるようにGumbel-Softmaxとストレートスルー推定を用いる。
• VisDialデータセットで最先端を上回る性能を実証する。

提案手法

• エンドツーエンドの生成モデルGは、Gから抽出されたシーケンス上の perceptual loss を介して識別モデルDから勾配を受け取る。
• GS（Gumbel-Softmax）とストレートスルー推定器は、離散的なシーケンス生成の微分可能な訓練を可能にする。
• History-Conditioned Image Attentive Encoder（HCIAE）は、対話履歴と画像に対してアテンションを行い、結合埋め込みを生成する。
• Dが perceptual な類似性と複数の有効な応答を学習するためのメトリック学習型のN-pair損失。
• Discriminator perceptual loss L_G は、G が D の下で ground-truth より高いスコアを得るようシーケンスを生成させる。
• 自己注意型の応答エンコーディングと強化されたエンコーダは、 grounding と意味的類似性を改善する。

実験結果

リサーチクエスチョン

• RQ1 識別的な視覚対話モデルからの知識移転は、生成的対話モデルの多様性と情報量の点で改善をもたらすか。
• RQ2 提案されたHCIAEエンコーダは、履歴と視覚内容を共参照することで grounding を改善するか。
• RQ3 Gumbel-Softmax によるエンドツーエンド訓練は、視覚対話における離散的なシーケンス生成に対して実現可能で有益か。
• RQ4 メトリック学習損失と自己注意は discriminator の品質と generator の性能にどのような影響を与えるか。
• RQ5 訓練ダイナミクス（非対話的知識移転 vs 対話的調整）が最終的な対話品質に与える影響はどのようか。

主な発見

Model	MRR	R@1	R@5	R@10	Mean
HCIAE-G-MLE	0.5386	44.06	63.55	69.24	16.01
HCIAE-G-DIS	0.5467	44.35	65.28	71.55	14.23
HCIAE-D-MLE	0.6140	47.73	77.50	86.35	5.15
HCIAE-D-NP	0.6182	47.98	78.35	87.16	4.92
HCIAE-D-NP-ATT	0.6222	48.48	78.75	87.59	4.81

• 識別子ガイダンスを用いて訓練された生成モデル G-DIS は VisDial のMLEベースラインよりも高い性能を示す（R@5 が 65.28、R@10 が 71.55 に改善）。
• HCIAE エンコーダを用いた G-DIS は 0.5467 の MRR、R@1 が 44.35、R@5 が 65.28、R@10 が 71.55、Mean が 14.23 となり、HCIAE-G-MLE の MRR 0.5386 を上回る。
• NP損失と注意機構付き応答エンコーディングを用いる識別モデルのバリエーションは強い結果を得ている（D-NP-ATT: MRR 0.6222、R@1 48.48、R@5 78.75、R@10 87.59、Mean 4.81）。
• D から G への知識移転は、エンコーダのみの改善よりも大幅な利得をもたらす（HCIAE-G-DIS は HCIAE-G-MLE より R@5 で 1.7% 上）。
• GAN 設定で D の訓練を敵対的に継続すると性能が低下するため、前もって訓練された D が perceptual 構造を提供することが知識移転の効果の鍵であることを示している。