[논문 리뷰] Discrimination in the Age of Algorithms

Jon Kleinberg, J. Ludwig외 2명|arXiv (Cornell University)|2019. 02. 11.

Human Rights and Immigration인용 수 4

한 줄 요약

이 논문은 알고리즘이 법적 및 사회적 맥락에서 차별 검출에 미치는 영향을 분석하며, 알고리즘이 투명성이 낮을 수는 있지만 동시에 의사결정 과정의 투명성과 감사 가능성 증대에도 기여할 수 있다고 주장한다. 잘 설계된 알고리즘 시스템은 구체성과 추적 가능성을 확보함으로써 차별을 더 쉽게 탐지하고 도전할 수 있도록 하며, 적절히 규제된다면 공정성 증진을 위한 도구로 기능할 수 있다.

ABSTRACT

The law forbids discrimination. But the ambiguity of human decision-making often makes it extraordinarily hard for the legal system to know whether anyone has actually discriminated. To understand how algorithms affect discrimination, we must therefore also understand how they affect the problem of detecting discrimination. By one measure, algorithms are fundamentally opaque, not just cognitively but even mathematically. Yet for the task of proving discrimination, processes involving algorithms can provide crucial forms of transparency that are otherwise unavailable. These benefits do not happen automatically. But with appropriate requirements in place, the use of algorithms will make it possible to more easily examine and interrogate the entire decision process, thereby making it far easier to know whether discrimination has occurred. By forcing a new level of specificity, the use of algorithms also highlights, and makes transparent, central tradeoffs among competing values. Algorithms are not only a threat to be regulated; with the right safeguards in place, they have the potential to be a positive force for equity.

연구 동기 및 목표

• 알고리즘 기반 의사결정이 반차별법의 검출 및 집행에 어떤 영향을 미치는지 분석하는 것.
• 실제로 알고리즘이 차별 위험을 증가시키는지 감소시키는지 조사하는 것.
• 알고리즘 시스템에서 투명성, 공정성, 책임성 간의 상충 관계를 분석하는 것.
• 알고리즘 시스템이 공정성 향상과 편향 감소를 위해 어떻게 설계될 수 있는지 규명하는 것.
• 법적 및 윤리적 감시를 위한 의사결정 과정의 심층적 심사 가능성을 높이기 위해 알고리즘이 어떤 역할을 하는지 평가하는 것.

제안 방법

• 논문은 알고리즘 기반 의사결정과 반차별법 간의 상호작용을 분석하기 위해 개념적 및 법적 분석을 사용한다.
• 컴퓨터 과학, 인공지능, 사회과학의 원칙을 바탕으로 알고리즘의 투명성과 감사 가능성을 평가한다.
• 채용, 금융 대출, 형사 사법과 같은 고위험 의사결정에서 알고리즘이 사용된 실제 사례를 분석한다.
• 알고리즘 시스템이 과정의 추적 가능성과 분석 가능성을 통해 의사결정의 모호성을 줄일 수 있다고 제안한다.
• 시스템 설계 시 책임성 및 공정성 평가를 위한 내재된 메커니즘의 중요성을 강조한다.
• 수학적 및 인지적 투명성 부족을 고려하며, 이러한 요소들이 차별 입증에 어떤 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 알고리즘은 의사결정 과정에서의 차별 탐지 가능성에 어떤 영향을 미치는가?
• RQ2 알고리즘 시스템은 고위험 의사결정에서 투명성과 감사 가능성을 얼마나 향상시킬 수 있는가?
• RQ3 알고리즘 시스템에서 공정성, 정확성, 투명성 간의 상충 관계는 무엇인가?
• RQ4 알고리즘 시스템은 편향을 증폭시키는 것이 아니라 감소시키는 도구로 기능할 수 있는가?
• RQ5 법적 시스템은 반차별 사례에서 알고리즘 과정을 증거로 활용하기 위해 어떻게 적응할 수 있는가?

주요 결과

• 알고리즘은 의사결정의 모호성을 줄여주며, 투명한 인간의 결정보다 차별을 더 쉽게 탐지하고 입증할 수 있도록 한다.
• 잠재적인 투명성 부족에도 불구하고, 감사 가능성을 고려해 설계된 알고리즘 시스템은 더 큰 투명성을 제공할 수 있다.
• 알고리즘의 사용은 의사결정자가 더 구체적인 결정을 내리게 하여 서로 대립하는 가치들 간의 상충 관계를 드러내게 한다.
• 적절한 보호 조치가 마련된다면, 알고리즘은 공정성 증진과 편향 감소를 위한 긍정적인 도구가 될 수 있다.
• 법적 시스템은 알고리즘의 투명성 덕분에 의사결정에 대해 더 철저한 검토를 받을 수 있다.
• 논문은 알고리즘이 본질적으로 차별적이지 않으며, 공정성을 확보하기 위해 규제 및 설계 프레임워크가 필요하다고 결론 내린다.