[论文解读] Leveraging Explainability for Comprehending Referring Expressions in the Real World

Fethiye Irmak Doğan, Gaspar I. Melsion+1 more|arXiv (Cornell University)|Jul 12, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种新颖的方法，通过利用视觉-语言模型的可解释性，实现对现实世界机器人中指代表达的理解，具体通过Grad-CAM激活和K-means聚类识别显著图像区域，而无需依赖预训练的目标检测器。该方法在模糊和开放词汇场景下优于最先进模型，尤其适用于不常见或未检测到的物体。

ABSTRACT

For effective human-robot collaboration, it is crucial for robots to understand requests from users and ask reasonable follow-up questions when there are ambiguities. While comprehending the users' object descriptions in the requests, existing studies have focused on this challenge for limited object categories that can be detected or localized with existing object detection and localization modules. On the other hand, in the wild, it is impossible to limit the object categories that can be encountered during the interaction. To understand described objects and resolve ambiguities in the wild, for the first time, we suggest a method by leveraging explainability. Our method focuses on the active regions of a scene to find the described objects without putting the previous constraints on object categories and natural language instructions. We evaluate our method in varied real-world images and observe that the regions suggested by our method can help resolve ambiguities. When we compare our method with a state-of-the-art baseline, we show that our method performs better in scenes with ambiguous objects which cannot be recognized by existing object detectors.

研究动机与目标

• 为了解决现有指代表达理解方法依赖预训练目标检测器所带来的局限，这些方法受限于已知物体类别。
• 使机器人能够在现实环境中识别模糊或不常见物体描述的相关图像区域，即使目标检测器可能失效。
• 通过基于显著视觉区域生成有针对性的、高效的澄清问题，提升人机协作能力。
• 探索利用模型可解释性（通过Grad-CAM）作为在无物体类别监督的情况下，将语言理解与视觉上下文相联系的机制。

提出的方法

• 该方法使用Grad-CAM从预训练的图像字幕模型生成类别激活图，识别给定指代表达在视觉上的显著区域。
• 对这些激活图进行处理，提取与场景中描述物体相对应的高激活区域。
• 对激活图应用K-means聚类，将显著像素聚合成连贯的活跃簇，代表候选区域。
• 生成的活跃簇被提议作为机器人后续澄清问题的关注目标。
• 该方法无需目标检测或定位模块，因此可适用于任何物体类别，包括稀有或未见过的类别。
• 系统在包含模糊或不常见物体的真实世界图像上进行评估，并与MAttNet——一种最先进指代表达模型——进行性能对比。

实验结果

研究问题

• RQ1 能否利用模型可解释性在不依赖目标检测的情况下，识别指代表达的相关视觉区域？
• RQ2 在存在模糊或不常见物体的场景中，基于可解释性的方法与最先进指代表达模型相比，性能如何？
• RQ3 该方法能否通过聚焦显著图像区域而非整个场景，生成有效的澄清问题？
• RQ4 该方法在处理现有目标检测器未覆盖的物体类别方面，其适用范围有多大？

主要发现

• 在存在多个相似干扰物（如多条鱼）的场景中，所提方法优于基线模型MAttNet，后者无法区分候选对象。
• 该方法成功识别出不常见或未检测到物体（如朝鲜蓟或番木瓜）的相关区域，而目标检测器失效，表明其在开放词汇设置下的鲁棒性。
• 定性分析显示，该方法聚焦于语义相关的图像区域（如描述中提到“穿长裤的人”时聚焦于长裤），表明语言在视觉上的有效定位。
• 该方法生成的活跃簇在制定有针对性的澄清问题方面非常有效，例如“你指的是左边的鱼还是右边的鱼？”，从而减少了重复完整请求的需求。
• 该方法通过聚焦显著且与上下文相关的图像区域，使机器人能够处理模糊描述，提升交互效率。