[논문 리뷰] Deontological Ethics By Monotonicity Shape Constraints

Serena Wang, Maya R. Gupta|arXiv (Cornell University)|2020. 01. 31.

Ethics and Social Impacts of AI참고 문헌 55인용 수 6

한 줄 요약

이 논문은 기계학습 모델에 단조성 형태 제약을 적용하여 도덕적 윤리 원칙—예를 들어 높은 소득이나 교육 수준과 같은 양호한 특성에 대해 처벌하지 않는 원칙—을 강제 적용함으로써 부당한 모델 행동을 방지하는 방법을 제안한다. 이 방법은 모델 성능을 희생시키지 않고도 윤리적 준수와 결과 기반의 공정성 지표를 모두 향상시킨다.

ABSTRACT

We demonstrate how easy it is for modern machine-learned systems to violate common deontological ethical principles and social norms such as "favor the less fortunate," and "do not penalize good attributes." We propose that in some cases such ethical principles can be incorporated into a machine-learned model by adding shape constraints that constrain the model to respond only positively to relevant inputs. We analyze the relationship between these deontological constraints that act on individuals and the consequentialist group-based fairness goals of one-sided statistical parity and equal opportunity. This strategy works with sensitive attributes that are Boolean or real-valued such as income and age, and can help produce more responsible and trustworthy AI.

연구 동기 및 목표

• 현대의 비선형 기계학습 모델이 높은 소득이나 교육 수준과 같은 유리한 입력을 처벌함으로써 도덕적 윤리 원칙을 빛바리게 하는 방식으로 간접적으로 위반할 수 있는 방식을 규명하는 것.
• 단조성 제약이 모델 예측에서 이러한 부당한 처벌을 효과적으로 방지할 수 있음을 보여주는 것.
• 도덕적 단조성 제약과 결과 기반의 공정성 목표(예: 한쪽 통계적 평등성 및 동등한 기회) 간의 관계를 분석하는 것.
• 단조성 제약가 다양한 실제 데이터셋(법학원 입학, 신용 불량, 자금 지원 제안서 등)에서 강건하고 해석 가능하며 효과적인지 보여주는 것.

제안 방법

• 특정 입력 특성(예: GPA, LSAT, 소득)의 값이 높아질수록 예측 결과가 낮아지지 않도록 보장하는 단조성 제약을 기계학습 모델에 적용하는 것.
• 일반화된 가산 모델(GAMs)에 단조성 제약를 적용하고, 특성 공간 전역에서 단조성 성질을 유지하는 최적화 방법을 사용하여 훈련하는 것.
• 실제 데이터셋에서 단조성 제약가 있는 모델과 없는 모델을 비교하여 윤리적 및 성능적 트레이드오프를 평가하는 것.
• 단조성 제약가 도덕적 공정성(예: 양호한 특성에 대한 처벌 방지)과 결과 기반 공정성(예: 한쪽 통계적 평등성 및 동등한 기회)에 미치는 영향을 측정하는 것.
• 최대 한쪽 통계적 평등성 위반 및 최대 한쪽 동등한 기회 위반과 같은 통계적 지표를 사용하여 공정성 향상을 정량화하는 것.
• 빈도 수준, GPA, LSAT, 소득 등의 민감한 특성과 함께 데이터셋을 사용하여 제약이 관련 특성에만 적용되도록 보장하는 것.

실험 결과

연구 질문

• RQ1 비선형 기계학습 모델이 실제 데이터에서 훈련될 경우, 더 유리한 특성(예: 더 높은 소득 또는 교육 수준)을 가진 개인을 처벌함으로써 도덕적 윤리 원칙을 위반할 수 있는가?
• RQ2 단조성 제약가 긍정적인 특성에 대한 처벌 방지 또는 열악한 상황에 있는 사람들을 우선시하는 등의 윤리 원칙 위반을 어느 정도 줄일 수 있는가?
• RQ3 단조성 제약가 한쪽 통계적 평등성 및 동등한 기회와 같은 결과 기반 공정성 지표에 어떤 영향을 미치는가?
• RQ4 실제로 단조성 제약를 적용할 경우 모델 성능이나 일반화 능력이 손상되는가?
• RQ5 비균일한 특성 분포를 가진 실제 데이터셋에 단조성 제약를 효과적으로 적용할 수 있는가?

주요 결과

• 법학원 입학 데이터셋에서 제약이 없는 딥 네ural 네트워크와 기울기 부스팅 트리 모델은 더 높은 GPA나 LSAT 점수를 가진 지원자를 처벌하는 경향을 보였으며, 이는 능력 기반의 공정성 원칙을 위반한 것이다.
• 형태 제약이 적용된 단조성 GAM은 테스트 정확도를 유지하면서 이러한 부당한 처벌을 완전히 제거했으며, 최고의 제약 없는 모델 대비 94.97%의 테스트 정확도를 달성했다(비제약 모델: 94.80%).
• 신용 불량 데이터셋에서 단조성 제약는 최대 한쪽 통계적 평등성 위반을 0.00751에서 0.00261로 감소시키고, 동등한 기회 위반은 0.00397에서 0.00331로 감소시켰다(28개 특성 사용).
• 자금 지원 제안서 데이터셋에서는 단조성 제약로 인해 최대 한쪽 통계적 평등성 위반은 0.00704에서 0.00017로 감소하고, 동등한 기회 위반은 0.00707에서 0.00037로 감소했다(특성 수 2개).
• 모든 실험에서 제약이 있는 모델들은 성능을 유지하거나 약간 향상시켰으며, 윤리적 제약에도 불구하고 AUC나 정확도에 유의미한 하락이 없었다.
• 단조성 제약는 희소 데이터 영역이나 비균일한 특성 분포에서도 효과적이었으며, 제약이 없는 모델은 과적합과 부당한 행동을 보였다.