[论文解读] Beyond task success: A closer look at jointly learning to see, ask, and GuessWhat

Ravi Shekhar, Aashish Venkatesh+5 more|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling参考文献 25被引用 11

一句话总结

本文提出了一种统一的、视觉对齐的对话状态编码器，联合学习在 GuessWhat?! 游戏中提问与猜测物体，相较于基线模型，任务准确率最高提升 9%。通过合作学习机制，该模型在任务性能与人类对话相似度方面达到当前最优水平，尽管与强化学习基线模型的任务成功率相近，但其生成的对话在语言多样性方面更优。

ABSTRACT

We propose a grounded dialogue state encoder which addresses a foundational issue on how to integrate visual grounding with dialogue system components. As a test-bed, we focus on the GuessWhat?! game, a two-player game where the goal is to identify an object in a complex visual scene by asking a sequence of yes/no questions. Our visually-grounded encoder leverages synergies between guessing and asking questions, as it is trained jointly using multi-task learning. We further enrich our model via a cooperative learning regime. We show that the introduction of both the joint architecture and cooperative learning lead to accuracy improvements over the baseline system. We compare our approach to an alternative system which extends the baseline with reinforcement learning. Our in-depth analysis shows that the linguistic skills of the two models differ dramatically, despite approaching comparable performance levels. This points at the importance of analyzing the linguistic output of competing systems beyond numeric comparison solely based on task success.

研究动机与目标

• 解决端到端任务导向智能体中视觉定位与对话系统组件整合的基础性挑战。
• 克服先前模型分别训练问题生成与物体猜测所带来的局限性，避免组件间协调不足。
• 超越任务成功率，通过分析语言输出（尤其是词汇多样性与重复模式）来提升对话质量。
• 提出一种可微分且高效的替代强化学习的合作学习机制，用于训练视觉对齐的对话智能体。
• 开展详细的语言学分析，比较合作学习与强化学习训练的模型，揭示尽管任务表现相似，但其语言行为存在显著差异。

提出的方法

• 设计一个单一的视觉-对话状态编码器，联合编码视觉与语言上下文，用于问题生成与物体猜测。
• 采用多任务学习方法，使用监督信号端到端训练模型，同时优化问题生成与物体猜测任务，实现共享表征学习。
• 引入两阶段合作学习（CL）机制，使模型能够生成自洽的对话，通过迭代优化提升组件间的协调性。
• 应用模 n 微调策略：每 5 个训练周期对问题生成器进行一次微调，使用人类标注的对话数据，以防止语言分布发生偏离。
• 将 CL 模型与 Strub 等人（2017）提出的强强化学习（RL）基线模型进行对比，除学习机制外，其余架构与训练设置保持一致。
• 采用词汇多样性、问题类型多样性与重复频率等语言学分析指标，评估对话质量，超越任务成功率的衡量。

实验结果

研究问题

• RQ1 通过共享视觉-对话状态编码器联合学习问题生成与物体猜测，对 GuessWhat?! 游戏中的任务成功率有何影响？
• RQ2 相较于监督学习与强化学习，合作学习在多大程度上提升了模型性能与对话质量？
• RQ3 采用合作学习与强化学习训练的模型在语言行为（如词汇多样性、问题类型变化、重复模式）方面有何差异？
• RQ4 即使任务成功率相近，合作学习机制是否能生成比强化学习更接近人类的对话模式？
• RQ5 周期性微调对合作训练过程中自动生成对话的语言漂移（尤其是问题类型分布）有何影响？

主要发现

• 所提出的联合架构相较于基线系统，任务成功率最高提升 9%，证明了共享视觉-对话状态表征的优势。
• 合作学习（CL）机制在监督基线基础上额外提升 8.7% 的准确率，整体性能优于强化学习基线模型。
• 尽管任务成功率相近，CL 模型生成的对话在语言多样性方面显著更优，其词汇多样性与问题类型多样性均高于 RL 模型。
• RL 模型对位置问题表现出强烈依赖，在对象问题获得 'Yes' 回答后，99.46% 的情况下会转向位置问题，而 CL 模型能更自然地转向其他属性。
• CL 模型在减少问题重复方面优于 RL 模型，后者频繁重复同一位置问题，导致对话显得不自然。
• 每 5 个周期进行一次周期性微调，能有效缓解 CL 模型中的语言漂移，使其问题类型分布更接近人类对话模式。