[论文解读] Context Matters for Image Descriptions for Accessibility: Challenges for Referenceless Evaluation Metrics

Elisa Kreiss, Cynthia L. Bennett+4 more|arXiv (Cornell University)|May 21, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文指出，当前的无参考图像描述评估指标（如 CLIPScore 和 SPURTS）未能考虑上下文相关性——这对盲人和低视力（BLV）用户至关重要——导致模型开发方向出现偏差。通过针对 BLV 用户的用户研究，作者证明了上下文显著影响对描述质量的感知，并提出了一种上下文感知的 CLIPScore 改进方法，提升了与人类判断的相关性，为更有效的可访问性评估指标提供了可行路径。

ABSTRACT

Few images on the Web receive alt-text descriptions that would make them accessible to blind and low vision (BLV) users. Image-based NLG systems have progressed to the point where they can begin to address this persistent societal problem, but these systems will not be fully successful unless we evaluate them on metrics that guide their development correctly. Here, we argue against current referenceless metrics -- those that don't rely on human-generated ground-truth descriptions -- on the grounds that they do not align with the needs of BLV users. The fundamental shortcoming of these metrics is that they do not take context into account, whereas contextual information is highly valued by BLV users. To substantiate these claims, we present a study with BLV participants who rated descriptions along a variety of dimensions. An in-depth analysis reveals that the lack of context-awareness makes current referenceless metrics inadequate for advancing image accessibility. As a proof-of-concept, we provide a contextual version of the referenceless metric CLIPScore which begins to address the disconnect to the BLV data. An accessible HTML version of this paper is available at https://elisakreiss.github.io/contextual-description-evaluation/paper/reflessmetrics.html

研究动机与目标

• 探究上下文如何影响盲人和低视力（BLV）用户对图像描述质量的感知。
• 评估现有无参考指标——CLIPScore 和 SPURTS——在捕捉依赖上下文的描述质量方面的局限性。
• 评估对无参考指标进行上下文感知改进后，是否能更好地与 BLV 用户的人类判断对齐。
• 提供实证证据表明，上下文是图像描述可访问性中的关键因素，挑战了当前评估实践中对上下文无关性的假设。

提出的方法

• 对视力正常者和 BLV 参与者开展用户研究，通过在不同维基百科文章上下文中展示相同图像，收集并评估其生成的描述。
• 使用五级李克特量表，在相关性、清晰度和整体质量等多个维度上收集多维人类判断。
• 评估两种无参考指标——CLIPScore 和 SPURTS——在预测人类判断方面的能力，重点关注其缺乏上下文整合的问题。
• 通过在评估过程中引入周围上下文段落，提出一种 CLIPScore 的上下文适应版本，以增强与人类评估的一致性。
• 使用具有被试随机效应的统计模型分析李克特量表数据，并评估指标与人类判断的相关性。
• 分析文本长度和截断对指标性能的影响，尤其关注其与上下文感知能力及 BLV 用户需求的关系。

实验结果

研究问题

• RQ1 图像在何种上下文中出现，会影响 BLV 用户对其描述质量的感知吗？
• RQ2 当上下文变化时，CLIPScore 和 SPURTS 等无参考指标在多大程度上无法准确预测人类判断？
• RQ3 CLIPScore 的上下文敏感改进版本是否能提升其与人类对图像描述评估的相关性？
• RQ4 BLV 用户在评估描述质量时，如何在上下文相关性与图像内容之间进行优先级排序？

主要发现

• BLV 参与者在描述与上下文相关时，即使描述的是同一图像，也持续给予更高质量评价，表明上下文是感知实用性的主要决定因素。
• 原始 CLIPScore 指标在上下文变化时与人类判断的相关性较低，表明其对上下文相关性不敏感。
• SPURTS 仅依赖语言特征，同样未能捕捉上下文效应，凸显了纯文本型无参考指标的局限性。
• 一种融入周围段落上下文的上下文感知 CLIPScore 版本，与人类判断的相关性显著提升，验证了上下文敏感评估的可行性。
• 描述长度被发现是质量的重要预测因子，但 CLIP 基础指标因标记截断而丢失此信息，进一步降低了其可靠性。
• 本研究揭示，当前的无参考指标在指导可访问图像描述开发方面不足，因其忽略了对 BLV 用户至关重要的上下文因素。