[論文レビュー] Taxonomizing and Measuring Representational Harms: A Look at Image Tagging

Jared Katzman, Angelina Wang+5 more|arXiv (Cornell University)|May 2, 2023

Psychology of Moral and Emotional JudgmentNeuroscience被引用数 3

ひとこと要約

この論文は、画像タギングシステムにおける表象的害の4つの明確に区別できるタイプ—再現化、抹消、軽視、ステレオタイプ化—を体系化し、5つの計算的公平性測定手法がこれらに不均等にマッピングされる仕組みを分析している。どの単一の測定手法でも特定の害のタイプを明確に同定することはできないことが示され、ある種の害を軽減することは、別の害の軽減と矛盾する可能性がある。これは、公平性評価において文脈に配慮し、価値に配慮した設計が不可欠であることを示唆している。

ABSTRACT

In this paper, we examine computational approaches for measuring the "fairness" of image tagging systems, finding that they cluster into five distinct categories, each with its own analytic foundation. We also identify a range of normative concerns that are often collapsed under the terms "unfairness," "bias," or even "discrimination" when discussing problematic cases of image tagging. Specifically, we identify four types of representational harms that can be caused by image tagging systems, providing concrete examples of each. We then consider how different computational measurement approaches map to each of these types, demonstrating that there is not a one-to-one mapping. Our findings emphasize that no single measurement approach will be definitive and that it is not possible to infer from the use of a particular measurement approach which type of harm was intended to be measured. Lastly, equipped with this more granular understanding of the types of representational harms that can be caused by image tagging systems, we show that attempts to mitigate some of these types of harms may be in tension with one another.

研究の動機と目的

• 『バイアス』や『不公平性』といった曖昧な用語にとどまらず、具体的で道徳的根拠を持つ表象的害のタイプを特定することで、画像タギングの公平性に関する議論を一歩進める。
• 画像タギングのための既存の計算的公平性測定手法を、5つの明確に区別できる分析的基盤に分類する。
• これらの測定手法と、同定された4つの表象的害のタイプとのマッピングを検討する。
• どの単一の測定手法でも、特定の害のタイプを明確に同定できるわけではないことが明らかになる。これは、公平性メトリクスの解釈可能性に関する前提を揺るがすものである。
• 異なるタイプの表象的害を軽減する戦略の間にある緊張を検討し、システム設計においてトレードオフが避けられないことを強調する。

提案手法

• 著者らは、画像タギングの公平性に関する査読付き論文 2305.01776 を分析し、再現化、抹消、軽視、社会的グループのステレオタイプ化という4つの明確に区別できる表象的害のタイプを特定・定義した。
• 統計的同等性、同等機会、分布的類似性などの分析的基盤に基づき、これまでに提案された計算的公平性測定手法を5つのカテゴリにクラスタリングした。
• 著者らは、各測定手法を4つの害のタイプすべてにマッピングし、1つの手法が複数の害のタイプを評価するために使用可能であることを示した。
• 性別分類の誤り、マイノリティグループの過小代表、ポルノグラフィックコンテンツにおけるステレオタイプ的タグ付けといった、先行研究からの具体的な事例を用いて、各害のタイプを説明した。
• 各害のタイプに対する軽減戦略を評価し、ステレオタイプ化を防ぐためにタグを削除する措置が、逆にマイノリティグループを抹消する結果になるなど、相反する影響を及ぼす可能性があることを示した。
• 実世界の事例、たとえばTumblrのアダルトコンテンツ禁止ポリシー、視覚障害者向けの代替テキスト生成などに基づき、文脈依存のトレードオフを示した。

Figure 1: Examples of how computational measurement approaches belonging to each of the five categories described earlier might be used to measure each of the four different types of representational harms that can be caused by image tagging systems. This mapping is by no means exhaustive.

実験結果

リサーチクエスチョン

• RQ1 画像タギングシステムにおける異なる計算的公平性測定手法は、どのように異なる種類の表象的害に関連しているか？
• RQ2 画像タギングシステムが引き起こす4つの明確に区別できる表象的害のタイプとは何か。それらはどのように有害な社会的階層を再現するのか？
• RQ3 1つの公平性測定手法が、複数の種類の表象的害を検出するために使用できる範囲はどの程度か？
• RQ4 特定の測定手法の使用だけでは、その意図された害のタイプを同定できないのはなぜか？
• RQ5 異なる種類の表象的害を軽減する戦略は、どのような点で互いに矛盾するのか？

主な発見

• 統計的同等性、同等機会、分布的類似性といった、5つの計算的公平性測定手法は、それぞれ明確に異なる分析的基盤を有しており、解釈の観点から互換性がない。
• 4つの明確に区別できる表象的害のタイプが同定された：社会的グループの再現化（存在の証明）、抹消（見えなくすること）、軽視（攻撃的またはステレオタイプ的なタグの適用）、ステレオタイプ化（偏った属性分布の適用）。
• 5つの測定手法すべてが、4つの表象的害のタイプを評価するために使用可能であるため、同じメトリクスがどの害を標的にしているかを明確に示すことはできない。
• 本研究は、ステレオタイプ化や軽視を防ぐためにタグを削除することが、特にクエーカーや性的に前向きなメディアのような感受性の高いコンテンツでは、マイノリティグループの抹消を引き起こす可能性があることを示している。
• 社会的グループの再現化を防ぐためにタグを削除するような、ある種の害に対する軽減戦略が、逆に別の害を悪化させることがある。これは、公平性工学において内在的な緊張が存在することを示している。
• 使用文脈（例：視覚障害者向けの代替テキスト vs. ソーシャルメディアのモデレーション）が、どの害を優先すべきか、どの軽減策が適切かを決定づける。