[논문 리뷰] Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning

Qi Wu, Peng Wang외 3명|arXiv (Cornell University)|2017. 11. 21.

Multimodal Machine Learning Applications참고 문헌 41인용 수 16

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)와 순차적 공주의 주의 메커니즘을 통합하여 더 인간다운 시각 대화 응답을 생성하는 새로운 적대적 학습 프레임워크를 제안한다. 응답과 그에 해당하는 주의 기반 추론을 평가하는 판별기(discriminator)를 훈련시킴으로써 생성기(generator)는 더 자연스럽고 맥락에 기반한 답변을 생성하게 되며, 기존 방법보다 recall@5에서 2.14% 향상된 최신 기준 성능을 달성한다.

ABSTRACT

The Visual Dialogue task requires an agent to engage in a conversation about an image with a human. It represents an extension of the Visual Question Answering task in that the agent needs to answer a question about an image, but it needs to do so in light of the previous dialogue that has taken place. The key challenge in Visual Dialogue is thus maintaining a consistent, and natural dialogue while continuing to answer questions correctly. We present a novel approach that combines Reinforcement Learning and Generative Adversarial Networks (GANs) to generate more human-like responses to questions. The GAN helps overcome the relative paucity of training data, and the tendency of the typical MLE-based approach to generate overly terse answers. Critically, the GAN is tightly integrated into the attention mechanism that generates human-interpretable reasons for each answer. This means that the discriminative model of the GAN has the task of assessing whether a candidate answer is generated by a human or not, given the provided reason. This is significant because it drives the generative model to produce high quality answers that are well supported by the associated reasoning. The method also generates the state-of-the-art results on the primary benchmark.

연구 동기 및 목표

• 최대우도추정(MLE)에 의존함으로써 너무나 간결하고 일반적인 응답을 생성하는 기존의 시각 대화 모델의 한계를 해결하기 위해.
• 응답과 그에 해당하는 주의 기반 추론을 모두 평가하는 판별 모델과 함께 적대적 학습을 통합하여 응답 품질을 향상시키기 위해.
• 중간 보상과 판별기 피드백을 활용하여 생성기가 더 자연스럽고 맥락에 일관되며 인간다운 대화를 생성할 수 있도록 하기 위해.
• 인간 평가 기반 터닝 테스트 스타일의 인간 연구를 통해 모델의 인간다움을 평가하고, VisDial 기준에서 최신 기준 방법들과의 비교를 수행하기 위해.

제안 방법

• 순차적 공주의 주의 메커니즘이 이미지 특징, 질문 임bedding, 대화 이력에 동시에 주의를 기울여 맥락에 기반한 표현을 생성하기 위해 사용된다.
• 생성기 모델은 공주의 다중모달 특징에 조건이 된 LSTM 디코더를 사용하여 응답 시퀀스를 생성한다.
• 판별기는 인간이 작성한 대화와 기계가 작성한 대화를 구분하도록 훈련되며, 생성기의 주의 가중치를 접근 가능하게 하여 해석 가능성과 추론 근거로 활용한다.
• 중간 보상은 몬테카를로 검색을 통해 계산되어 판별기의 전역적이고 단계별 피드백을 기반으로 생성기를 지도한다.
• 최종 모델은 적대적 훈련 이후 티처 포싱을 통합하여 생성 품질을 더욱 안정화하고 향상시킨다.
• 프레임워크는 강화학습을 통해 공동으로 훈련되며, 판별기의 출력 결과가 생성기 최적화를 위한 보상 신호로 사용된다.

실험 결과

연구 질문

• RQ1 적대적 학습이 최대우도추정을 넘어서 시각 대화 응답의 자연스러움과 일관성 향상에 기여할 수 있는가?
• RQ2 생성기의 주의 가중치에 판별기가 접근할 수 있도록 하면 생성된 응답의 품질과 해석 가능성은 향상되는가?
• RQ3 응답 생성 과정 중에 중간 보상을 제공할 경우, 전역 보상만 제공하는 것보다 더 나은 다양성과 유창성을 달성할 수 있는가?
• RQ4 생성된 응답이 인간 평가에서 인간이 작성한 대화와 구분되지 않을 정도로 인간다운 정도는 어느 정도인가?
• RQ5 기본 기준 평가 지표인 recall@5와 정확도에서 제안된 방법은 최신 기준 모델들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 CoAtt-GAN-w/ R_inte-TF 모델은 VisDial v0.9 데이터셋에서 이전에 보고된 최고 성능보다 recall@5에서 2.14% 향상되었다.
• 강력한 MLE 기반 베이스라인인 CoAtt-G-MLE보다 1.87% 향상된 recall@5 성능을 기록하여 적대적 훈련의 효과를 입증하였다.
• 인간 평가에서 제안된 모델이 생성한 응답 중 49%가 터닝 테스트를 통과했으며, 베이스라인은 46%, 메모리 네트워크 모델은 39%였다.
• 인간 평가자들에 의해 45%의 응답이 인간이 작성한 응답과 동등하거나 그 이상으로 평가되어 높은 인간다움을 보였다.
• 판별기는 생성된 응답 중 70%를 인간다운 것으로 정확히 분류했으며, 이는 무작위 선택 기준 50%보다 뚜렷이 높은 성능을 보여, 생성기가 판별기를 효과적으로 속였음을 시사한다.
• 제거 분석 결과, 중간 보상(R_inte)이 성능 향상에 가장 큰 기여를 했으며, 이어 티처 포싱이 평균 0.5%의 추가 향상을 이끌어냈다.