[논문 리뷰] Best of Both Worlds: Transferring Knowledge from Discriminative Learning to a Generative Visual Dialog Model

Jiasen Lu, Anitha Kannan외 3명|arXiv (Cornell University)|2017. 06. 05.

Multimodal Machine Learning Applications참고 문헌 47인용 수 86

한 줄 요약

요약: 이 논문은 구름-소프트맥스(Gumbel-Softmax)를 사용하여 판별적 시각 대화 모델에서 생성 모델로 지식을 이전하는 학습 프레임워크를 제시하고, 생성 모델이 더 다양하고 정보성 있는 응답을 생성하도록 하여 VisDial에서 성능을 개선합니다.

ABSTRACT

We present a novel training framework for neural sequence models, particularly for grounded dialog generation. The standard training paradigm for these models is maximum likelihood estimation (MLE), or minimizing the cross-entropy of the human responses. Across a variety of domains, a recurring problem with MLE trained generative neural dialog models (G) is that they tend to produce 'safe' and generic responses ("I don't know", "I can't tell"). In contrast, discriminative dialog models (D) that are trained to rank a list of candidate human responses outperform their generative counterparts; in terms of automatic metrics, diversity, and informativeness of the responses. However, D is not useful in practice since it cannot be deployed to have real conversations with users. Our work aims to achieve the best of both worlds -- the practical usefulness of G and the strong performance of D -- via knowledge transfer from D to G. Our primary contribution is an end-to-end trainable generative visual dialog model, where G receives gradients from D as a perceptual (not adversarial) loss of the sequence sampled from G. We leverage the recently proposed Gumbel-Softmax (GS) approximation to the discrete distribution -- specifically, an RNN augmented with a sequence of GS samplers, coupled with the straight-through gradient estimator to enable end-to-end differentiability. We also introduce a stronger encoder for visual dialog, and employ a self-attention mechanism for answer encoding along with a metric learning loss to aid D in better capturing semantic similarities in answer responses. Overall, our proposed model outperforms state-of-the-art on the VisDial dataset by a significant margin (2.67% on recall@10). The source code can be downloaded from https://github.com/jiasenlu/visDial.pytorch.

연구 동기 및 목표

• MLE로 학습된 생성 시각 대화 모델에서 안전하고 일반적인 응답 문제를 해결한다.
• 생성기 G를 판별 모델 D로부터 지각 손실(perceptual loss)을 통해 엔드-투-엔드로 학습 가능하도록 한다.
• 정착 인코더(HCIAE) 및 주의 기반 응답 인코딩을 제안하여 grounding 및 지시 해석(co-reference resolution)을 개선한다.
• Discrete 시퀀스를 역전파하기 위해 Gumbel-Softmax와 straight-through 추정치를 사용한다.
• VisDial 데이터셋에서 최첨단 대비 성능을 입증한다.

제안 방법

• 생성 모델 G는 시퀀스에서 샘플링된 G에 대한 perceptual loss를 통해 D로부터 그래디언트를 받으며 끝에서 끝까지 학습한다.
• Gumbel-Softmax(GS)와 straight-through 추정기를 사용하여 이산 시퀀스 생성을 미분 가능하게 학습한다.
• History-Conditioned Image Attentive Encoder(HCIAE)가 대화 기록과 이미지를 주시하여 공동 임베딩을 생성한다.
• D가 perceptual 유사성과 여러 유효 응답을 학습하도록 하는 메트릭 학습 다중 클래스 N-페어 손실.
• 판별자 perceptual loss L_G가 G가 D 아래에서 ground-truth보다 더 높은 점수를 받는 시퀀스를 생성하도록 한다.
• 자기 주의 기반 응답 인코딩 및 강화된 인코더가 응답의 grounding 및 의미적 유사성을 개선한다.

실험 결과

연구 질문

• RQ1 판별적 시각 대화 모델로부터의 지식 이전이 생성 대화 모델의 다양성과 정보성 측면에서 향상을 가져오는가?
• RQ2 HCIAE 인코더가 기억(history)와 시각 콘텐츠를 상호 참조하여 grounding을 개선하는가?
• RQ3 Gumbel-Softmax를 통한 엔드-투-엔드 학습이 이산 시퀀스 생성을 위해 가능하고 유익한가?
• RQ4 메트릭 학습 손실 및 자기 주의가 판별기의 품질과 생성기의 성능에 어떤 영향을 미치는가?
• RQ5 비대칭적 대립 학습(adversarial) 없이 지식 이전(비대립적)과 적대적 튜닝 간의 학습 동적이 최종 대화 품질에 어떤 영향을 미치는가?

주요 결과

• 생성 G가 판별자 지도로 학습(G-DIS)된 경우 VisDial에서 MLE 기준선보다 우수하게 나타나며(R@5 65.28, R@10 71.55로 향상).
• HCIAE 인코더를 갖춘 G-DIS는 0.5467 MRR 및 44.35, 65.28, 71.55(R@1, R@5, R@10) 및 평균 14.23으로 HCIAE-G-MLE(MRR 0.5386)보다 우수한 성과를 달성한다.
• NP 손실 및 주의적 응답 인코딩을 사용하는 판별 모듈 변형(D-NP-ATT)이 강력한 결과를 달성한다(D-NP-ATT: MRR 0.6222; R@1 48.48; R@5 78.75; R@10 87.59; 평균 4.81).
• D에서 G로의 지식 이전은 인코더 개선만으로 얻는 이득보다 크게 작다(HCIAE-G-DIS가 HCIAE-G-MLE보다 R@5에서 1.7% 더 우수).
• GAN 설정에서 D를 적대적으로 계속 학습하는 것은 성능을 저하시켰고, 지각 구조를 제공하는 사전 학습된 D가 효과적 이전의 핵심임을 시사한다.