[논문 리뷰] Fair Forests: Regularized Tree Induction to Minimize Model Bias

Edward Raff, Jared Sylvester외 1명|arXiv (Cornell University)|2017. 12. 21.

Ethics and Social Impacts of AI참고 문헌 13인용 수 9

한 줄 요약

이 논문은 모델 편향을 최소화하는 첫 번째 정규화된 트리 유도 방법인 Fair Forest를 소개한다. 보호된 특성에 의존하는 것을 방지하기 위해 분할 기준을 수정함으로써, 초모수 조정 없이도 분류 및 회귀 과제에서 최고 수준의 공정성과 정확도를 달성한다. 이는 이진, 다중범주형, 연속형 특성 모두를 지원한다.

ABSTRACT

The potential lack of fairness in the outputs of machine learning algorithms has recently gained attention both within the research community as well as in society more broadly. Surprisingly, there is no prior work developing tree-induction algorithms for building fair decision trees or fair random forests. These methods have widespread popularity as they are one of the few to be simultaneously interpretable, non-linear, and easy-to-use. In this paper we develop, to our knowledge, the first technique for the induction of fair decision trees. We show that our "Fair Forest" retains the benefits of the tree-based approach, while providing both greater accuracy and fairness than other alternatives, for both "group fairness" and "individual fairness.'" We also introduce new measures for fairness which are able to handle multinomial and continues attributes as well as regression problems, as opposed to binary attributes and labels only. Finally, we demonstrate a new, more robust evaluation procedure for algorithms that considers the dataset in its entirety rather than only a specific protected attribute.

연구 동기 및 목표

• 해석 가능성과 성능 덕분에 널리 사용되지만, 기계학습에서 공정한 결정 트리 및 랜덤 포레스트 알고리즘이 부족한 문제를 해결하기 위해.
• 이중 보호된 특성뿐 아니라 다중범주형 및 연속형 특성에 대해서도 공정성을 보장하는 방법을 개발하기 위해.
• 사전 정의된 보호된 특성 외의 모든 특성에서의 차별을 균일하게 감소시키는 정규화 기반 접근법을 만들기 위해.
• 이진 레이블을 넘어서서 회귀 및 다중분류 문제에 적합한 새로운 공정성 메트릭을 도입하기 위해.
• 단일 보호된 특성에 집중하는 것이 아니라, 모든 특성을 종합적으로 고려하는 종합적인 방법으로 공정성을 평가하기 위해.

제안 방법

• 보호된 특성에 의존할 경우 정보 이득을 감소시키는 정규화된 분할 기준을 트리 유도에 도입한다.
• Gini 불순도 또는 분산 감소 과정에서 보호된 특성에 대한 의존을 줄이기 위해 공정성 정규화 항을 수정한다.
• 다중범주형 및 연속형 보호된 특성, 그리고 회귀 목표값을 다룰 수 있도록 일반화된 차별 측정법을 사용해 공정성 메트릭을 확장한다.
• 단일 보호된 특성에만 초점을 맞추는 것이 아니라, 데이터셋의 모든 특성에 대해 공정성을 테스트하는 새로운 평가 프레임워크를 구현한다.
• 초모수 조정 없이도 표준 랜덤 포레스트 학습 파이프라인을 유지하며, 코드 변경 최소화를 이룬다.
• 특성 중요도 분석을 통해 공정성 적용 후 모델 행동의 변화를 드러내어 편향 완화의 감사 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 예측 정확도와 해석 가능성은 유지하면서 모델 편향을 최소화하는 정규화된 트리 유도 알고리즘을 설계할 수 있는가?
• RQ2 이진 특성 외의 연속형 및 다중범주형 보호된 특성에 대해 공정성은 어떻게 측정하고 강제로 구현할 수 있는가?
• RQ3 제안된 방법이 사전에 지정된 보호된 특성 외의 모든 특성에서 균일하게 차별을 감소시키는가?
• RQ4 초모수 조정 없이도 공정성 향상을 달성하고 성능 저하 없이 유지할 수 있는가?
• RQ5 공정성 적용 후 모델의 특성 중요도는 어떻게 변화하는가? 이는 데이터 편향에 대해 어떤 통찰을 제공하는가?

주요 결과

• Fair Forest 방법은 독일 및 건강 데이터셋에서 모든 특성에 대해 차별성을 0으로 줄여 완벽한 공정성을 달성했으며, 정확도 손실 없이 성취했다.
• Adult 데이터셋에서는 평균 차별성은 0.2971에서 0.1253으로 감소했고, 평균 정확도는 0.854에서 0.804로 약간 하락했다.
• 특성 중요도 분석 결과 대부분의 특성에서 상대적 중요도가 뒤바뀌었다. 예를 들어 독일 데이터셋에서 체킹 상태는 덜 중요해졌고, 주거는 더 중요해졌다.
• Adult 데이터셋에서는 자본 이득 및 자본 손실과 같은 특성들이 성별과 높은 상관관계를 보여 공정성 적용 시 우선순위가 낮아졌으며, 이는 데이터 수집 과정에서 잠재적 편향이 존재할 수 있음을 시사한다.
• 모든 데이터셋에서 모든 특성에 대해 차별성이 균일하게 감소함으로써, 사전에 지정된 보호된 특성 외의 영역에서도 강력한 성능을 입증했다.
• 이 방법은 초모수 조정이 필요 없었으며, 표준 랜덤 포레스트의 '즉시 작동' 성질을 유지하면서도 공정성을 향상시켰다.