[论文解读] Generating Visual Explanations

Lisa Anne Hendricks, Zeynep Akata+4 more|arXiv (Cornell University)|Mar 28, 2016

Multimodal Machine Learning Applications参考文献 30被引用 75

一句话总结

本文提出了一种新颖的深度学习模型，通过同时利用图像特征和预测标签来条件化语言生成，联合预测图像类别标签并生成特定于类别的视觉解释。采用基于强化学习的损失函数来优化全局句子属性（如类别特异性），该模型生成的解释比标准图像字幕模型更具区分性，其有效性已在细粒度鸟类物种数据集上得到验证，生成的解释在准确性和特异性方面均有提升。

ABSTRACT

Clearly explaining a rationale for a classification decision to an end-user can be as important as the decision itself. Existing approaches for deep visual recognition are generally opaque and do not output any justification text; contemporary vision-language models can describe image content but fail to take into account class-discriminative image aspects which justify visual predictions. We propose a new model that focuses on the discriminating properties of the visible object, jointly predicts a class label, and explains why the predicted label is appropriate for the image. We propose a novel loss function based on sampling and reinforcement learning that learns to generate sentences that realize a global sentence property, such as class specificity. Our results on a fine-grained bird species classification dataset show that our model is able to generate explanations which are not only consistent with an image but also more discriminative than descriptions produced by existing captioning methods.

研究动机与目标

• 开发一种视觉解释系统，通过自然语言解释分类决策，超越通用的图像描述。
• 通过生成既与图像相关又具有类别区分性的解释，解决深度视觉分类器的不透明性问题。
• 设计一种训练目标，鼓励生成的句子包含能区分相似类别（如鸟类物种）的特征。
• 证明在训练过程中将类别特异性作为全局句子属性纳入考虑，可提升解释质量，且推理时无需使用类别标签。
• 验证一种新型损失函数的有效性，该损失函数作用于采样生成的句子，并优化全局判别性属性。

提出的方法

• 该模型使用细粒度视觉分类器提取具有区分性的图像特征，优于标准ImageNet预训练特征。
• 将序列到序列的LSTM语言模型同时基于视觉特征和预测的类别标签进行条件化，以生成解释。
• 引入一种新颖的基于强化学习的损失函数，通过反向传播采样过程，优化全局句子属性（如类别特异性）。
• 该损失函数促使模型生成包含区分预测类别与相似类别关键特征的句子，即使在测试时未提供类别标签也能实现。
• 训练过程包括采样生成句子，并利用策略梯度方法根据生成句子是否满足期望的全局属性来更新模型。
• 该方法使模型能够学习突出判别性属性（如‘红色眼睛’用于西部大潜鸟），同时保持与视觉证据的一致性。

实验结果

研究问题

• RQ1 视觉-语言模型能否生成既与视觉内容相关又具有类别区分性的解释，而非仅是描述性内容？
• RQ2 如何设计损失函数以优化全局句子级属性（如类别特异性），而这些属性无法通过局部词级监督捕捉？
• RQ3 模型在推理时无法访问类别标签的情况下，能在多大程度上学习生成具有判别性的解释？
• RQ4 在训练中引入判别性损失是否能提升生成解释的质量和特异性，相比标准字幕基线模型？
• RQ5 视觉特征和类别标签如何共同影响生成解释的内容？

主要发现

• 所提出的模型生成的解释显著比标准图像字幕模型更具判别性，体现在包含关键区分性特征（如‘红色眼睛’或‘黑色头部’）方面。
• 即使在测试时未提供类别标签，该模型仍能生成比基线描述模型更具类别特异性的句子。
• 当使用判别性损失进行训练时，模型在标准句子生成指标（如BLEU、ROUGE）上表现更优，表明整体句子质量更高。
• 定性分析表明，若基于错误类别进行条件化，模型会生成看似合理但错误的属性描述（如对无红色的鸟类提及‘红色’），证明模型对类别信息具有敏感性。
• 基于强化学习的损失函数成功引导模型生成满足全局属性（如类别特异性）的句子，尽管其作用于采样输出。
• 该模型在平衡图像相关性和类别相关性方面优于仅描述性或仅定义性的基线模型，表现更优。