[논문 리뷰] Taxonomizing and Measuring Representational Harms: A Look at Image Tagging

Jared Katzman, Angelina Wang외 5명|arXiv (Cornell University)|2023. 05. 02.

Psychology of Moral and Emotional JudgmentNeuroscience인용 수 3

한 줄 요약

이 논문은 이미지 태깅 시스템에서 발생하는 대표적 손해의 네 가지 유형—사회 집단의 실체화, 무시, 경시, 스테레오타입화—를 정의하고, 이에 대해 다섯 가지 계산적 공정성 측정 방법이 어떻게 비균형적으로 대응하는지 분석한다. 이는 특정 유형의 손해를 확정적으로 식별할 수 있는 단일 측정 방법이 없으며, 한 유형의 손해를 완화하는 것이 다른 유형의 손해 완화와 충돌할 수 있음을 보여주며, 공정성 평가에서 맥락 인식과 가치 중심 설계의 필요성을 강조한다.

ABSTRACT

In this paper, we examine computational approaches for measuring the "fairness" of image tagging systems, finding that they cluster into five distinct categories, each with its own analytic foundation. We also identify a range of normative concerns that are often collapsed under the terms "unfairness," "bias," or even "discrimination" when discussing problematic cases of image tagging. Specifically, we identify four types of representational harms that can be caused by image tagging systems, providing concrete examples of each. We then consider how different computational measurement approaches map to each of these types, demonstrating that there is not a one-to-one mapping. Our findings emphasize that no single measurement approach will be definitive and that it is not possible to infer from the use of a particular measurement approach which type of harm was intended to be measured. Lastly, equipped with this more granular understanding of the types of representational harms that can be caused by image tagging systems, we show that attempts to mitigate some of these types of harms may be in tension with one another.

연구 동기 및 목표

• 이미지 태깅 공정성 논의에서 '편향'이나 '불공정성'과 같은 모호한 용어를 넘어서, 규범적으로 근거가 있는 특정 유형의 대표적 손해를 규명하고자 한다.
• 이미지 태깅을 위한 기존의 계산적 공정성 측정 방법을 다섯 가지 명확한 분석적 기초로 분류하고자 한다.
• 이러한 측정 방법과 네 가지로 확인된 대표적 손해 유형 간의 맵핑 관계를 분석하고자 한다.
• 단일 측정 방법이 특정 유형의 손해를 확정적으로 식별할 수 없으며, 이는 공정성 지표의 해석 가능성에 대한 기존의 가정을 도전하고자 한다.
• 다양한 유형의 대표적 손해를 완화하는 데 있어 발생하는 갈등을 탐색하고, 설계 과정에서의 상호 대체 가능성의 본질을 강조하고자 한다.

제안 방법

• 저자들은 이미지 태깅 공정성에 관한 동료 심사 논문 2305.01776을 분석하여, 사회 집단의 실체화, 무시, 경시, 스테레오타입화라는 네 가지 유형의 대표적 손해를 식별하고 정의한다.
• 통계적 평등, 동등한 기회, 분포 유사성 등 그 기초 분석 기반에 따라 이전에 제안된 계산적 공정성 측정 방법을 다섯 가지 범주로 군집화한다.
• 각 측정 방법이 네 가지 손해 유형 각각과 어떻게 맵핑되는지 분석하여, 한 가지 방법이 여러 유형의 손해를 평가하는 데 사용될 수 있음을 보여준다.
• 성별 분류 오류, 소수자 집단의 저항성, 포르노그래픽 콘텐츠에서의 스테레오타입 태깅 등의 이전 연구 사례를 구체적으로 제시하여 각 손해 유형을 설명한다.
• 각 손해 유형에 대한 완화 전략을 평가하여, 스테레오타입화를 방지하기 위해 태그를 제거하는 조치가 의도치 않게 소수자 집단을 무시하게 만들 수 있거나, 그 반대의 경우도 발생할 수 있음을 보여준다.
• 실제 사례, 예를 들어 툴바그의 성인 콘텐츠 금지 정책과 视覚 장애인을 위한 앨트-텍스트 생성 등에 기반하여 맥락에 따라 달라지는 상호 대체 가능성을 보여준다.

Figure 1: Examples of how computational measurement approaches belonging to each of the five categories described earlier might be used to measure each of the four different types of representational harms that can be caused by image tagging systems. This mapping is by no means exhaustive.

실험 결과

연구 질문

• RQ1 이미지 태깅 시스템에 대한 다양한 계산적 공정성 측정 방법은 어떻게 특정 유형의 대표적 손해와 관련이 있는가?
• RQ2 이미지 태깅 시스템이 초래할 수 있는 네 가지 유형의 대표적 손해는 무엇이며, 어떻게 해서 악성 사회 계층을 재생산하는가?
• RQ3 한 가지 공정성 측정 방법으로 여러 유형의 대표적 손해를 탐지할 수 있는 정도는 어느 정도인가?
• RQ4 왜 특정 측정 방법을 사용한다고 해서 그 방법이 의도한 손해 유형을 유추할 수 없는가?
• RQ5 다른 유형의 대표적 손해를 완화하는 전략은 어떻게 상호 간에 충돌하는가?

주요 결과

• 통계적 평등, 동등한 기회, 분포 유사성 등으로 대표되는 다섯 가지 계산적 공정성 측정 방법은 각각 독립적인 분석 기반을 지니며, 해석상 상호 교체 가능하지 않다.
• 네 가지 유형의 대표적 손해가 확인되었으며, 각각 사회 집단의 실체화(존재를 증명함), 무시(시야에서 사라지게 함), 경시(모욕적이거나 스테레오타입적인 태그 적용), 스테레오타입화(편향된 속성 분포 적용)이다.
• 다섯 가지 측정 방법 각각이 네 가지 유형의 대표적 손해를 평가하는 데 사용될 수 있으므로, 동일한 지표로는 어느 손해 유형이 대상인지 확정적으로 알 수 없다.
• 연구는 태그 제거로 스테레오타입화나 경시를 방지하려는 조치가, 예를 들어Lesbian이나 성 긍정적 콘텐츠와 같은 민감한 콘텐츠에 적용될 경우 소수자 집단의 무시로 이어질 수 있음을 보여준다.
• 사회 집단의 실체화를 방지하기 위해 태그를 제거하는 완화 전략은 오히려 그 집단의 무시를 악화시킬 수 있으며, 이는 공정성 엔지니어링에서 내재된 긴장을 드러낸다.
• 사용 맥락(예: 시각 장애인을 위한 앨트-텍스트 vs. 소셜 미디어 모더레이션)이 어떤 손해를 우선시하고 어떤 완화 조치가 적절한지를 결정하는 데 핵심적인 영향을 미친다.