[논문 리뷰] The Authority of "Fair" in Machine Learning

Michael Skirpan, Micha Gorelick|arXiv (Cornell University)|2017. 06. 29.

Ethics and Social Impacts of AI참고 문헌 32인용 수 19

한 줄 요약

이 논문은 기계학습에서의 공정성에 대해 범용적이고 맥락에 의존하는 정의를 제안하며, 공정성이 기술적으로 강제되는 것이 아니라 공동으로 정당화되고 맥락에 뿌리를 두어야 한다고 주장한다. 현재의 차별적 대응 방식에 대한 집중을 비판하고, 공동체의 참여를 통한 공정성 정의를 주장하며, 기계학습 시스템에서의 합법성과 책임성을 보장하기 위한 제도적 메커니즘을 촉구한다.

ABSTRACT

In this paper, we argue for the adoption of a normative definition of fairness within the machine learning community. After characterizing this definition, we review the current literature of Fair ML in light of its implications. We end by suggesting ways to incorporate a broader community and generate further debate around how to decide what is fair in ML.

연구 동기 및 목표

• 기계학습에서의 공정성에 대한 지배적인 기술적 프레임워크를 도전하며, 이는 단지 차별적 대응을 피하는 데서만 국한되어야 한다는 점을 주장하기 위함이다.
• 공정성이 본질적이거나 기술적 성질이 아니라, 공동체의 합의가 필요하고 맥락에 따라 달라지는 규범적 구성물이라는 점을 주장하기 위함이다.
• 영향을 받는 공동체의 참여 없이 기술자가 공정성을 단독으로 코드화하는 데서 발생하는 위험을 부각하기 위함이다.
• 참여적 대화와 제도적 책임성을 통해 기계학습에서의 공정성에 대한 정당성을 제안하기 위함이다.
• 기계학습 시스템의 공정성 기준을 정의하는 데 있어 취약한 공동체와 옹호 단체의 더 넓은 포함을 촉구하기 위함이다.

제안 방법

• 영향을 받는 당사자가 수락하거나 이의를 제기할 수 있는 메커니즘을 포함한 맥락적 정당화가 요구되는 규범적 공정성 정의(P1)를 도입한다.
• 공정성의 세 가지 구체적 프레임워크로 나누어진다: 시스템의 공정성, 접근 방식의 공정성, 결과의 공정성.
• 이 세 가지 프레임워크의 시각에서 기존의 공정성 문헌을 분석하여, 차별적 영향에 대한 좁은 초점이 드러나도록 한다.
• 후행 해석 가능성 및 공정성 감사 도구가 사전에 정의된 특성과 局소 근사에 의존하기 때문에 제한되어 있음을 평가한다.
• 합법적이고 책임감 있는 기계학습에서의 공정성을 실현하기 위한 길로 알고리즘적 정의 절차와 공동체 참여를 제안한다.
• 윤리 위원회와 교육 과정 통합과 같은 제도적 개혁을 주장하여, 기계학습 개발 과정에 공정성을 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 기계학습에서의 공정성을 맥락적으로 기반을 두고 민주적으로 합법적인 방식으로 정의할 수 있는가?
• RQ2 왜 현재의 차별적 대응에 대한 집중은 윤리적인 기계학습 시스템을 확보하는 데 부족한가?
• RQ3 영향을 받는 공동체와 옹호 단체는 기계학습 응용에서의 공정성을 정의하는 데 어떤 역할을 해야 하는가?
• RQ4 기계학습 전문가들은 자신의 공정성 제약이 기술 엘리트에 의해 단독으로 부과되지 않도록 어떻게 보장할 수 있는가?
• RQ5 기계학습 시스템에서 '공정성'의 권위를 정당화하기 위한 제도적 메커니즘은 무엇인가?

주요 결과

• 기계학습의 공정성에 관한 현재의 문헌은 주로 차별적 대응을 방지하는 데 집중되어 있으며, 공정성의 더 넓은 규범적 및 맥락적 차원을 간과하는 경향이 있다.
• 후행 공정성 감사 도구는 사전에 정의된 보호 대상 범주에 의존하기 때문에 한계가 있으며, 알려진 공변량 외부의 편향을 탐지할 수 없다.
• LIME 및 LIME 유사 방법과 같은 해석 가능성 방법은 국소적이고 근사적인 설명만 제공하며, 모델 행동에 대한 전역적 통찰을 제공하지 못한다.
• 공정성 달성과 모델 정확성 유지는 본질적인 갈등을 내포하고 있으며, 이는 현재의 제약 조건 하에서 이상적인 공정성이 달성될 수 없음을 시사한다.
• 기계학습에서 공정성을 정의할 권한은 현재 제도적으로 책임지지 못하고 있으며, 공동체의 참여 없이 기술 엘리트에 의해 부과될 위험이 있다.
• 공정성의 합법성은 알고리즘적 정의 절차와 공동체 참여와 같은 제도적 메커니즘이 필요하며, 이는 이의 제기와 합의 형성 과정을 가능하게 해야 한다.