[논문 리뷰] Measurement as governance in and for responsible AI

Abigail Z. Jacobs|arXiv (Cornell University)|2021. 09. 13.

Ethics and Social Impacts of AI참고 문헌 59인용 수 7

한 줄 요약

이 논문은 AI 시스템에서 측정이 공정성, 강건성, 책임감과 같은 추상적 개념을 운영화함으로써 사회적, 문화적, 정치적 가치가 내재된 은폐된 거버넌스 형태임을 주장한다. 구성 타당성(특히 내용 타당성과 결과 타당성)을 적용함으로써, 의도된 개념과 그 측정 간의 괴리가 공정성 관련 피해를 초래하는 방식을 드러내며, AI 거버넌스의 투명성과 책임성을 높이기 위한 프레임워크를 제공한다.

ABSTRACT

Measurement of social phenomena is everywhere, unavoidably, in sociotechnical systems. This is not (only) an academic point: Fairness-related harms emerge when there is a mismatch in the measurement process between the thing we purport to be measuring and the thing we actually measure. However, the measurement process -- where social, cultural, and political values are implicitly encoded in sociotechnical systems -- is almost always obscured. Furthermore, this obscured process is where important governance decisions are encoded: governance about which systems are fair, which individuals belong in which categories, and so on. We can then use the language of measurement, and the tools of construct validity and reliability, to uncover hidden governance decisions. In particular, we highlight two types of construct validity, content validity and consequential validity, that are useful to elicit and characterize the feedback loops between the measurement, social construction, and enforcement of social categories. We then explore the constructs of fairness, robustness, and responsibility in the context of governance in and for responsible AI. Together, these perspectives help us unpack how measurement acts as a hidden governance process in sociotechnical systems. Understanding measurement as governance supports a richer understanding of the governance processes already happening in AI -- responsible or otherwise -- revealing paths to more effective interventions.

연구 동기 및 목표

• AI 시스템의 측정 과정이 공정성, 분류, 책임감에 대한 거버넌스 결정을 암묵적으로 어떻게 내재시키는지 폭 드러내는 것.
• 이론적 개념과 그 운영화된 측정 간의 괴리로 인해 발생하는 공정성 관련 피해 문제를 다루는 것.
• 측정이 중립적이지 않으며, 사회기술적 시스템에 가치가 내재된 거버넌스의 장소임을 입증하는 것.
• 내용 타당성과 결과 타당성을 포함한 구성 타당성 프레임워크를 통해 이러한 은폐된 거버넌스 결정을 드러내고 분석 가능하게 하는 것.
• 사회과학적 시각을 기술적 거버넌스에 통합하여 보다 효과적이고 책임감 있는 AI를 지원하는 것.

제안 방법

• 불관측 가능한 개념(예: '직원의 질', '독성')이 어떻게 측정 가능한 대체 지표로 운영화되는지 분석하기 위해 사회과학의 측정 프레임워크를 채택하는 것.
• 두 가지 유형의 구성 타당성 적용: 내용 타당성(측정이 의도된 개념을 올바르게 반영하는가?), 결과 타당성(측정으로부터 유도되는 사회적 결과는 무엇인가?).
• 과거 급여를 직원의 질의 대체 지표로 사용하는 사례 연구 등과 같이 측정 선택이 체계적 불평등을 재생산하는 방식을 설명하는 것.
• 측정, 사회적 범주 구성, 사회적 계급질서 강화 사이의 피드백 루프를 매핑하는 것.
• 비판적 인종 이론, 장애 연구, 조직 거버넌스 이론의 통찰을 통합하여 측정의 영향을 맥락화하는 것.
• 측정을 알고리즘 시스템에 내재된 거버넌스 결정을 드러내고 비판할 수 있는 렌즈로 위치시키는 것.

실험 결과

연구 질문

• RQ1 AI 시스템의 측정 과정이 공정성, 분류, 책임감에 대한 거버넌스 결정을 어떻게 내재시키는가?
• RQ2 이론적 개념과 그 운영화된 측정 간의 괴리가 공정성 관련 피해를 초래하는 방식은 무엇인가?
• RQ3 내용 타당성과 결과 타당성을 어떻게 활용하여 AI 시스템에 내재된 거버넌스를 진단하고 개선할 수 있는가?
• RQ4 측정이 알고리즘 시스템에서 신분 범주(예: 인종, 성별, 장애)의 사회적 구성과 강화에 어떤 역할을 하는가?
• RQ5 측정 기반 프레임워크는 책임 있는 AI에서 더 투명하고 책임감 있는 거버넌스를 어떻게 지원하는가?

주요 결과

• 측정은 중립적인 기술적 과정이 아니라, 사회적, 문화적, 정치적 가치가 AI 시스템에 내재된 핵심적 거버넌스 장소이다.
• 공정성 관련 피해는 알고리즘 편향 자체에서 비롯되는 경우가 많지 않으며, 오히려 의도된 개념(예: '직원의 질')과 그 운영화(예: '과거 급여') 사이의 괴리에서 기인한다.
• 내용 타당성은 측정 모델이 주장하는 이론적 개념을 충분히 반영하고 있는지 평가하는 데 도움이 된다.
• 결과 타당성은 측정이 사회적 범주와 권력 구조를 어떻게 형성하고 강화하는지 드러내며, 행정적 또는 상징적 폭력의 방식으로 작용할 수 있다.
• 구성 타당성에 기반한 측정 과정의 명시적 분석은 은폐된 거버넌스 결정을 드러내고, 더 책임감 있는 AI 개발을 가능하게 한다.
• 측정을 거버넌스로 재정의함으로써 사회과학 통찰을 책임 있는 AI에 더 깊이 통합할 수 있으며, 이는 투명성과 윤리적 책임성을 향상시킨다.