[논문 리뷰] State of the Art in Fair ML: From Moral Philosophy and Legislation to Fair Classifiers

Elias Baumann, Josef Lorenz Rumberger|arXiv (Cornell University)|2018. 11. 20.

Ethics and Social Impacts of AI참고 문헌 42인용 수 4

한 줄 요약

이 논문은 기계 학습에서의 공정성에 대한 종합적인 설문 조사로, 도덕 철학, GDPR와 같은 법적 프레임워크, 그리고 알고리즘 차별을 탐지하고 방지하는 기술적 접근법을 통합한다. 공정성은 기술적 엄밀성과 전문가의 윤리적 책임이 모두 필요하므로, 관찰 기반 공정성 기준, 인과 모델링, 해석 가능한 알고리즘을 조합한 다각적 전략을 제안하여 기계 학습 시스템 내의 편향을 식별하고 완화한다.

ABSTRACT

Machine learning is becoming an ever present part in our lives as many decisions, e.g. to lend a credit, are no longer made by humans but by machine learning algorithms. However those decisions are often unfair and discriminating individuals belonging to protected groups based on race or gender. With the recent General Data Protection Regulation (GDPR) coming into effect, new awareness has been raised for such issues and with computer scientists having such a large impact on peoples lives it is necessary that actions are taken to discover and prevent discrimination. This work aims to give an introduction into discrimination, legislative foundations to counter it and strategies to detect and prevent machine learning algorithms from showing such behavior.

연구 동기 및 목표

• 기계 학습에서의 차별에 대한 윤리적 및 법적 기초를 검토하며, 특히 GDPR를 고려한다.
• 기본 데이터와 모델 설계에서 기인하는 기계 학습 시스템 내의 편향의 근본 원인을 특정한다.
• 알고리즘 차별을 완화하기 위한 관찰 기반 및 인과 기반 공정성 접근법을 평가하고 비교한다.
• 해석 가능성의 역할이 자동화된 결정에 대한 인간의 감시와 신뢰를 가능하게 하는 데 중시된다.
• 컴퓨터 과학 교육에 윤리를 통합하고, 기계 학습에서의 공정성 감사 제도를 정착시키기 위한 것을 주장한다.

제안 방법

• 논문은 도덕 철학과 법률, 특히 GDPR을 조사하여 기계 학습에서의 공정성에 대한 규범적 및 법적 기초를 확립한다.
• 관찰 가능한 결과에 기반한 주요 공정성 기준인 동등한 기회와 동등한 오차와 같은 기준을 소개하고 비교한다.
• 데이터 및 모델 행동의 인과 관계를 분석하여 차별을 모델링하고 수정하기 위한 인과 추론 방법을 평가한다.
• 기계 학습의 투명성을 향상시키고 인간이 알고리즘 결정을 검토할 수 있도록 해석 가능한 기계 학습 모델의 사용을 권장한다.
• 관찰 기반 공정성 지표, 인과 모델링, 해석 가능성의 조합을 통해 강건성과 책임성을 향상시키는 하이브리드 접근법을 제안한다.
• 기계 학습 시스템의 공정성에 대해 차량이나 식품의 안전 점검과 유사한 제도적 감사 메커니즘을 도입할 것을 촉구한다.

실험 결과

연구 질문

• RQ1 도덕적 및 법적 프레임워크, 예를 들어 GDPR은 기계 학습에서의 공정성 개념에 어떻게 기여하는가?
• RQ2 기계 학습 시스템 내의 주요 편향 원인은 무엇이며, 데이터와 모델 설계에서 어떻게 발생하는가?
• RQ3 등급 기반 공정성 기준, 예를 들어 동등한 기회와 동등한 오차는 차별을 탐지하고 방지하는 데 얼마나 효과적인가?
• RQ4 인과 모델링은 공정성을 얼마나 향상시킬 수 있으며, 실무에서의 한계는 무엇인가?
• RQ5 해석 가능성은 복잡하고 투명성이 낮은 기계 학습 시스템에서 차별을 탐지하고 완화하는 데 어떻게 기여할 수 있는가?

주요 결과

• 2010년 이후 기계 학습에서의 공정성에 관한 연구 결과의 수가 두 배로 증가하여 학술계와 기관의 관심이 증가하고 있음을 보여준다.
• 관찰 기반 공정성 기준, 예를 들어 동등한 오차와 동등한 기회 같은 기준은 유용하지만, 보호 그룹에 대한 속성 접근에 크게 의존하며, 데이터셋에 특화된 조작에 취약하다.
• 인과 접근법은 차별에 대한 깊은 이해를 제공하지만 강력한 가정과 영역 전문 지식이 필요하여 신뢰할 수 있는 구현이 어렵다.
• 해석 가능한 모델은 인간의 감시를 지원하며 GDPR에서 의무화되어 있지만, 종종 복잡한 모델의 성능과 충돌한다.
• 단일 공정성 접근법으로는 충분하지 않으며, 관찰 기반, 인과 기반, 해석 가능한 방법의 조합이 강건한 공정성 완화를 위해 필수적이다.
• 논문은 윤리적 책임이 기계 학습 실천에 통합되어야 하며, 윤리 교육과 제도적 감사 체계를 통해 규모에 걸쳐 공정성을 확보해야 한다고 결론 내린다.