[论文解读] Large-Scale Answerer in Questioner's Mind for Visual Dialog Question Generation

Sangwoo Lee, Tong Gao+3 more|arXiv (Cornell University)|Feb 22, 2019

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出 AQM+，作为 Questioner's Mind 框架中 Answerer 的可扩展扩展，用于任务导向的视觉对话，能够在最多 10,000 个候选类别的大规模设置中实现高效的资讯增益估计。通过使用子集采样和上下文感知的候选生成，AQM+ 在对话进行过程中将误差降低超过 60%，远超监督学习（SL）和强化学习（RL）基线模型，同时保持对话的连贯性并可泛化至非是/否类响应。

ABSTRACT

Answerer in Questioner's Mind (AQM) is an information-theoretic framework that has been recently proposed for task-oriented dialog systems. AQM benefits from asking a question that would maximize the information gain when it is asked. However, due to its intrinsic nature of explicitly calculating the information gain, AQM has a limitation when the solution space is very large. To address this, we propose AQM+ that can deal with a large-scale problem and ask a question that is more coherent to the current context of the dialog. We evaluate our method on GuessWhich, a challenging task-oriented visual dialog problem, where the number of candidate classes is near 10K. Our experimental results and ablation studies show that AQM+ outperforms the state-of-the-art models by a remarkable margin with a reasonable approximation. In particular, the proposed AQM+ reduces more than 60% of error as the dialog proceeds, while the comparative algorithms diminish the error by less than 6%. Based on our results, we argue that AQM+ is a general task-oriented dialog algorithm that can be applied for non-yes-or-no responses.

研究动机与目标

• 解决原始 AQM 框架在大规模视觉对话任务中面对庞大候选空间（如 9,628 个图像类别）时的可扩展性限制。
• 通过生成符合语境的句子形式问题，使 AQM 能够处理非是/否类响应。
• 在对话轮次中实现相较于监督学习和强化学习基线模型的更高误差降低，后者仅表现出微弱改进。
• 开发一种实用、通用的任务导向对话系统，在计算上可行的同时保持连贯性和资讯增益。
• 在复杂的真实世界视觉对话场景（如 GuessWhich）中证明 AQM+ 的有效性，其中主导性问题表现不佳。

提出的方法

• 提出 AQM+，一种改进的 AQM 框架，通过子集采样而非对完整搜索空间的穷举计算来近似资讯增益。
• 在每次对话轮次中，基于当前对话历史和视觉上下文生成多样化的候选问题与答案。
• 使用一个可学习的生成模型（apprAgen）采样合理的问答对，减少对完整枚举的依赖。
• 采用固定采样数（K）的蒙特卡洛式采样策略来近似资讯增益，将复杂度从 O(N×∞) 降低至 O(K³)。
• 通过可学习的超参数 λ 平衡先验知识与似然性，以适应用户回答模式中的分布偏移。
• 通过基于对话历史和视觉特征的上下文感知解码，实现问题生成，提升连贯性与相关性。

实验结果

研究问题

• RQ1 AQM 能否被扩展以处理包含数万个候选类别的大规模视觉对话任务以及非是/否类响应？
• RQ2 通过子集采样近似资讯增益，是否能在保持 AQM 理论优势的同时实现实际部署？
• RQ3 在对话轮次中，AQM+ 相较于监督学习和强化学习基线模型，在误差降低方面表现如何？
• RQ4 上下文感知的候选生成在多大程度上提升了问题质量与对话连贯性？
• RQ5 AQM+ 中的资讯增益近似是否足够高效，以实现实时推理而不牺牲性能？

主要发现

• 在 GuessWhich 基准测试中，AQM+ 在整个对话过程中将误差降低了 61.5%，显著优于 SL 和 RL 基线模型，后者误差降低不足 6%。
• 消融实验证实，资讯增益近似是有效的：当采样数从 20 增加到 160 时，百分位平均排名（PMR）仅从 94.63% 提升至 94.79%，表明收益递减且对采样大小具有鲁棒性。
• AQM+ 即使在复杂、非是/否类对话设置中，也能保持生成问题的高连贯性和语境相关性。
• AQM+ 的计算成本为 O(K³)，在 K=20 时（Tesla P40 上单次推理耗时 3 秒）仍具可行性，尽管延迟高于 SL 模型，但具备实用性。
• 由于其信息论基础，AQM+ 在泛化能力上优于 SL 和 RL 模型，尤其在未见或罕见对话场景中表现更优。
• 通过集成先进的视觉问题生成与视觉问题回答模型，可进一步提升模型性能。