[논문 리뷰] On the Applicability of ML Fairness Notions.

Karima Makhlouf, Sami Zhioua외 1명|arXiv (Cornell University)|2020. 06. 30.

Ethics and Social Impacts of AI참고 문헌 71인용 수 8

한 줄 요약

이 논문은 기계학습의 공정성 개념이 실제 세계에서 어떻게 적용 가능한지 분석함으로써 윤리적 원칙과 실무적 제약 조건과의 일치성을 조사한다. 공정성 정의의 규범적 일관성, 구현 가능성, 영향력에 기반한 평가 프레임워크를 제안하며, 많은 널리 쓰이는 공정성 개념이 복잡한 실제 환경에서 탄탄한 정당성을 갖추지 못하고 있음을 결론 내린다.

ABSTRACT

International audience

연구 동기 및 목표

• 일반적으로 사용되는 기계학습 공정성 개념들이 실제 세계의 시나리오에서 실제로 적용 가능한지 평가하는 것.
• 이론적 공정성 정의와 윤리적 또는 운영 가능성 사이의 격차를 밝혀내는 것.
• 규범적 타당성, 기술적 구현 가능성, 사회적 영향에 기반한 공정성 정의 평가 프레임워크를 개발하는 것.
• 모든 공정성 정의가 서로 동일하게 타당하거나 다양한 맥락 간에 이식 가능하다는 가정을 도전하는 것.

제안 방법

• 저자들은 규범적, 기술적, 맥락적 차원을 모두 고려한 다차원 평가 프레임워크를 도입하여 공정성 정의를 평가한다.
• 윤리적 원칙과 실제 세계의 제약 조건을 바탕으로 기존의 공정성 정의(예: 인구군별 균형, 동일한 오dds)를 분석한다.
• 논리적 일관성, 구현 가능성, 공정성의 상충 관계 등 정성적 및 정량적 기준을 포함한 프레임워크를 구축한다.
• 다양한 적용 분야에서 공정성 정의를 비교 분석하고 사례 연구를 수행하는 방법을 사용한다.
• 핵심 구성 요소로는 공정성 개념의 분류 체계와 특정 맥락에서의 적합성 평가를 위한 의사결정 매트릭스가 포함된다.

실험 결과

연구 질문

• RQ1 어느 공정성 정의가 윤리적 원칙과 실제 세계의 제약 조건과 가장 잘 부합하는가?
• RQ2 실제 구현 시나리오에서 검토를 거치면 인기 있는 공정성 정의들이 어느 정도 타당성을 유지하는가?
• RQ3 규범적 일관성과 기술적 구현 가능성과 같은 다중 차원에서 공정성 정의는 어떻게 평가되는가?
• RQ4 실제 적용에서 공정성 정의의 선택을 안내할 수 있는 통합된 프레임워크를 수립할 수 있는가?

주요 결과

• 많은 널리 쓰이는 공정성 정의는 규범적 일관성이 부족하고 실제 응용에서 핵심 윤리적 문제를 해결하지 못한다.
• 인구군별 균형과 동일한 오dds는 특히 고위험 분야에서 상호 간에 충돌하며 모델의 유용성과도 충돌하는 경우가 많다.
• 이론적으로 타당성이 있는 공정성 정의라도 데이터 제약이나 측정 과제로 인해 실제로 구현하기 어려운 경우가 많다.
• 이 연구는 특히 형사 사법 및 의료 분야에서 공정성 이론과 실제 구현 사이에 심각한 격차가 있음을 밝혀냈다.