[論文レビュー] Context Matters for Image Descriptions for Accessibility: Challenges for Referenceless Evaluation Metrics

Elisa Kreiss, Cynthia L. Bennett+4 more|arXiv (Cornell University)|May 21, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、CLIPScore や SPURTS などの現在の参照なし画像説明評価指標が、視覚障害者や低視力者（BLV）にとって重要な文脈的関連性を考慮していないため、モデル開発がずれることになると主張している。BLV参加者を対象としたユーザースタディを通じて、文脈が説明の質の評価に顕著に影響することを示し、文脈に配慮した CLIPScore の変種を提案。この変種は人間の判断との相関を向上させ、より効果的なアクセシビリティ評価指標の道筋を示している。

ABSTRACT

Few images on the Web receive alt-text descriptions that would make them accessible to blind and low vision (BLV) users. Image-based NLG systems have progressed to the point where they can begin to address this persistent societal problem, but these systems will not be fully successful unless we evaluate them on metrics that guide their development correctly. Here, we argue against current referenceless metrics -- those that don't rely on human-generated ground-truth descriptions -- on the grounds that they do not align with the needs of BLV users. The fundamental shortcoming of these metrics is that they do not take context into account, whereas contextual information is highly valued by BLV users. To substantiate these claims, we present a study with BLV participants who rated descriptions along a variety of dimensions. An in-depth analysis reveals that the lack of context-awareness makes current referenceless metrics inadequate for advancing image accessibility. As a proof-of-concept, we provide a contextual version of the referenceless metric CLIPScore which begins to address the disconnect to the BLV data. An accessible HTML version of this paper is available at https://elisakreiss.github.io/contextual-description-evaluation/paper/reflessmetrics.html

研究の動機と目的

• 視覚障害者や低視力者（BLV）における画像説明の質の評価が、文脈にどのように影響を受けるかを調査すること。
• CLIPScore や SPURTS といった既存の参照なし指標が、文脈依存の説明の質をどれだけ正しく捉えられていないかを評価すること。
• 参照なし指標に文脈に配慮した修正を加えることで、BLVユーザーの人的判断とより一致するようになるかを検証すること。
• 文脈が画像説明のアクセシビリティにおいて重要な要因であるという実証的証拠を提供し、現在の評価手法における文脈独立性の仮定に疑問を呈すること。

提案手法

• 同じ画像を異なるウィキペディア記事の文脈で提示し、視覚健常者およびBLV参加者から説明を収集・評価するユーザースタディを実施した。
• 関連性、明確さ、全体的な質といった次元で、5段階リクルート尺度を用いた多次元的人的判断を収集した。
• CLIPScore と SPURTS の2つの参照なし指標が、人間の判断をどれだけ正しく予測できるかを評価し、文脈統合の欠如に焦点を当てた。
• 周囲の文脈パラグラフを評価プロセスに組み込むことで、CLIPScore の文脈に配慮した変種を提案し、人的評価との整合性を高めた。
• 参加者ごとのランダム効果を含む統計モデルを用いてリクルート尺度データを分析し、指標と人的判断との相関を評価した。
• テキスト長さと切り出し処理が、文脈に配慮した評価とBLVユーザーのニーズに与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 画像が提示される文脈が、BLVユーザーがその説明の質をどのように評価に影響を与えるか。
• RQ2 文脈が変化する状況下で、CLIPScore や SPURTS といった参照なし指標が人間の判断をどれほど正しく予測できないか。
• RQ3 CLIPScore の文脈に配慮した変種が、画像説明の人的評価との相関を改善できるか。
• RQ4 BLVユーザーは、文脈的関連性と画像コンテンツのどちらを、説明の質の評価において優先するか。

主な発見

• BLV参加者たちは、同じ画像であっても文脈的に関連性がある場合、説明の質をより高く評価する傾向にあり、これは文脈が実用的価値の主要な決定要因であることを示している。
• 文脈が変化する状況下で、元の CLIPScore 指標は人間の判断と低相関であったため、文脈的関連性への感受性が低いことが明らかになった。
• 言語的特徴にのみ依存する SPURTS も、文脈効果を捉えられず、純粋にテキストベースの参照なし指標の限界を浮き彫りにした。
• 周囲のパラグラフ文脈を組み込んだ文脈に配慮した CLIPScore のバージョンは、人間の判断との相関が顕著に向上しており、文脈に配慮した評価の実現可能性を裏付けた。
• 説明の長さが質の重要な予測要因であることが判明したが、CLIPベースの指標はトークンの切り出しによりこの情報を失い、信頼性がさらに低下する。
• 本研究は、現在の参照なし指標が、BLVユーザーにとって重要な文脈を無視しているため、アクセシブルな画像説明の開発を導くのに不十分であることを明らかにした。