[논문 리뷰] Awareness in Practice: Tensions in Access to Sensitive Attribute Data for Antidiscrimination

Miranda Bogen, Aaron Rieke외 1명|arXiv (Cornell University)|2019. 12. 12.

Ethics and Social Impacts of AI참고 문헌 37인용 수 13

한 줄 요약

이 논문은 미국의 신용, 고용, 의료 분야에서 민감한 속성 데이터(예: 인종 및 성별)에 대한 실질적 접근의 비일관성을 조사하며, 법적 의무, 기업 정책, 제도적 관습이 정의된 공정성 인식 기계학습을 구현하는 데 있어 주요 장벽을 만든다는 점을 드러낸다. 민감한 데이터에 대한 신뢰할 수 있는 접근이 없으면, 편향 탐지 및 완화 기법은 연구 환경 외에서는 실질적으로 구현될 수 없다고 주장한다.

ABSTRACT

Organizations cannot address demographic disparities that they cannot see. Recent research on machine learning and fairness has emphasized that awareness of sensitive attributes, such as race and sex, is critical to the development of interventions. However, on the ground, the existence of these data cannot be taken for granted. This paper uses the domains of employment, credit, and healthcare in the United States to surface conditions that have shaped the availability of sensitive attribute data. For each domain, we describe how and when private companies collect or infer sensitive attribute data for antidiscrimination purposes. An inconsistent story emerges: Some companies are required by law to collect sensitive attribute data, while others are prohibited from doing so. Still others, in the absence of legal mandates, have determined that collection and imputation of these data are appropriate to address disparities. This story has important implications for fairness research and its future applications. If companies that mediate access to life opportunities are unable or hesitant to collect or infer sensitive attribute data, then proposed techniques to detect and mitigate bias in machine learning models might never be implemented outside the lab. We conclude that today's legal requirements and corporate practices, while highly inconsistent across domains, offer lessons for how to approach the collection and inference of sensitive data in appropriate circumstances. We urge stakeholders, including machine learning practitioners, to actively help chart a path forward that takes both policy goals and technical needs into account.

연구 동기 및 목표

• 민감한 속성 데이터에 대한 접근이 기계학습에서 편향을 탐지하고 완화하는 데 필수적이지만, 미국의 주요 분야에서 그 접근이 비일관한 이유를 조사하기 위해.
• 법적 요구사항, 기업 정책, 제도적 관습이 신용, 고용, 의료 분야에서 민감한 속성의 수집 및 유추에 어떻게 영향을 미치는지 분석하기 위해.
• 민감한 데이터가 수집되거나 유추되지 않으면 공정성 인식 기계학습 기법이 실질적으로 구현될 수 없다는 위험을 부각하기 위해.
• 연구자, 정책 입안자, 전문가 간의 다학제적 협력을 통해 공정성 개선 조치에서의 책임감 있는 데이터 사용 원칙을 수립하기 위해.
• 민감한 속성의 유추에 대한 윤리적 및 기술적 과제를 검토하고, 그들의 책임감 있는 취급을 위한 보호 조치를 제안하기 위해.

제안 방법

• 신용, 고용, 의료 분야와 같은 세 가지 규제된 미국 분야에서 민감한 속성 데이터 수집에 대한 비교적 법적 및 제도적 분석을 수행하였다.
• 각 분야에서 민감한 속성 수집에 대한 기존의 법적 의무 및 금지 조건을 매핑하여, 상이한 규제 프레임워크를 식별하였다.
• 각 분야의 민간 기업이 반차별 목적을 위해 민감한 속성을 어떻게 수집하거나 유추하는지, 준수, 도덕적 의무, 리스크 완화를 바탕으로 탐구하였다.
• 데이터 최소화 및 개인정보 보호법의 영향을 평가하여, 특히 기계학습 모델 감사의 맥락에서 공정성 연구에 미치는 영향을 분석하였다.
• 안전한 다자간 계산, 개인 집합의 교차, 동형 암호화와 같은 기술적 보호 조치를 제안하여 민감한 데이터에 대한 개인정보 보호를 보장하는 접근 방식을 가능하게 하였다.
• 민감한 속성 데이터를 수집하거나 유추할 때와 방법에 대해 명확한 정책 지침을 마련할 것을 주장하였으며, 특히 유추된 데이터는 표시하고 별도로 저장할 것

실험 결과

연구 질문

• RQ1 미국의 민간 기업이 신용, 고용, 의료 분야에서 반차별 목적을 위해 민감한 속성 데이터를 수집하거나 유추하는 데 있어 법적 및 제도적 조건은 무엇인가?
• RQ2 유사한 목표인 차별 감소를 추구함에도 불구하고, 일부 기업은 민감한 속성 데이터를 수집하는 반면 다른 기업은 이를 금지당하는 이유는 무엇인가?
• RQ3 개인정보 보호법과 데이터 최소화 원칙이 공정성 인식 기계학습에서 보호 계층에 대한 인식 필요성과 어떻게 충돌하는가?
• RQ4 민감한 속성 데이터의 유추된 데이터 수집 및 사용에 있어 책임감 있는 접근을 보장할 수 있는 기술적 및 윤리적 보호 조치는 무엇인가?
• RQ5 기계학습 연구자와 전문가는 공정성 개선 조치에서 민감한 속성 데이터 접근에 대한 향후 정책을 설계하는 데 있어 어떤 역할을 해야 하는가?

주요 결과

• 미국의 신용 분야에서는 일부 레이더가 민감한 속성 데이터 수집을 법적으로 의무화하지만, 다른 기업은 이를 금지당함으로써 분열된 환경이 형성되어 있다.
• 대규모 기업들은 장기적인 민감한 속성 데이터 수집을 인사관리의 표준 절차로 시행하고 있으며, 이는 민권법 준수의 결과이다.
• 의료 분야에서는 법적 준수 외에도 인종과 성별에 따른 심각한 건강 결과 격차를 줄이기 위한 도덕적 의무로 인해 기업들이 민감한 속성 데이터를 수집하고 있다.
• 기술 플랫폼 및 벤더는 생명 기회에 대한 접근을 중개하지만, 민감한 속성 데이터 수집 또는 유추에 대해 명확한 지침이 없어, 데이터 수집이 일관되지 않거나 전혀 이루어지지 않는 경우가 많다.
• 특히 전통적으로 규제되지 않은 기관을 대상으로는 언제 또는 어떻게 민감한 속성 데이터를 수집하거나 유추할지에 대한 일관되고 널리 수용된 프레임워크가 존재하지 않는다.
• 동형 암호화 및 개인 집합의 교차와 같은 개인정보 보호 기술은 잠재력을 보이고 있지만, 아직 개발이 부족하고 공정성 테스트에 널리 도입되지 않은 상태이다.