[논문 리뷰] FAHT: An Adaptive Fairness-aware Decision Tree Classifier

Wenbin Zhang, Eirini Ntoutsi|arXiv (Cornell University)|2019. 07. 16.

Data Stream Mining Techniques참고 문헌 17인용 수 17

한 줄 요약

FAHT는 예측 정확도와 공정성의 균형을 이루기 위해 새로운 공정한 정보 이득 분할 기준을 통합한 데이터 스트림 분류를 위한 Hoeffding 트리 알고리즘의 공정성 인식 확장이다. 지속적으로 변화하는 데이터 스트림에서 지능적으로 차별을 감소시키면서도 중간 수준의 성능을 유지하며, 표준 Hoeffding 트리보다 공정성 지표에서 뛰어나지만 모델의 해석 가능성은 유지한다.

ABSTRACT

Automated data-driven decision-making systems are ubiquitous across a wide spread of online as well as offline services. These systems, depend on sophisticated learning algorithms and available data, to optimize the service function for decision support assistance. However, there is a growing concern about the accountability and fairness of the employed models by the fact that often the available historic data is intrinsically discriminatory, i.e., the proportion of members sharing one or more sensitive attributes is higher than the proportion in the population as a whole when receiving positive classification, which leads to a lack of fairness in decision support system. A number of fairness-aware learning methods have been proposed to handle this concern. However, these methods tackle fairness as a static problem and do not take the evolution of the underlying stream population into consideration. In this paper, we introduce a learning mechanism to design a fair classifier for online stream based decision-making. Our learning model, FAHT (Fairness-Aware Hoeffding Tree), is an extension of the well-known Hoeffding Tree algorithm for decision tree induction over streams, that also accounts for fairness. Our experiments show that our algorithm is able to deal with discrimination in streaming environments, while maintaining a moderate predictive performance over the stream.

연구 동기 및 목표

• 편향된 역사적 데이터로 인해 자동화된 의사결정 시스템에서 공정성의 부족을 해결하기 위해.
• 정적 공정성 접근 방식의 한계를 극복하기 위해 변화하는 데이터 스트림 분포에 적응할 수 있도록 하기 위해.
• 예측 성능이 높으면서도 민감 그룹에 대한 차별을 최소화하는 의사결정 트리 분류기 개발을 위해.
• 트리 유도 과정에서 정확도와 공정성을 동시에 최적화하는 공정한 정보 이득 기준을 도입하기 위해.
• 결정 경계에서 민감한 속성과의 상관관계가 낮은 속성을 우선시함으로써 모델의 해석 가능성 확보를 위해.

제안 방법

• 기존 정보 이득에 공정성 이득 항목을 추가하여 분할 시 차별을 증가시키는 경우에 벌점을 주는 공정한 정보 이득(Fair Information Gain, FIG) 분할 기준을 제안한다.
• Hoeffding 트리 알고리즘을 수정하여 노드 분할에 표준 정보 이득 대신 FIG를 사용함으로써 데이터 스트림에서의 온라인 학습을 가능하게 한다.
• 통계적 평등을 공정성 측정 기준으로 사용하여 민감 그룹과 비민감 그룹 간에 동일한 양성 분류 비율을 확보한다.
• 라벨이 가용해지는 대로 실시간으로 모델을 업데이트할 수 있도록 전순서(선-검증-후-학습) 평가 설정을 사용한다.
• 민감 속성과의 상관관계를 최소화하도록 결정 경계를 재구성하여 관련 특성으로 인한 간접적 편향을 감소시킨다.
• 데이터 분포의 변화에 대응할 수 있도록 적응형 모델 업데이트를 구현하면서도 공정성 제약 조건을 유지한다.

실험 결과

연구 질문

• RQ1 예측 성능를 유지하면서 지속적으로 변화하는 데이터 스트림에 효과적으로 적응할 수 있는 공정성 인식 의사결정 트리가 개발될 수 있는가?
• RQ2 제안된 공정한 정보 이득 기준은 표준 정보 이득 대비 정확도와 공정성 측면에서 어떻게 비교되는가?
• RQ3 표준 Hoeffding 트리에 비해 FAHT는 민감 속성과 결정 경계 간의 상관관계를 어느 정도 감소시키는가?
• RQ4 공정성 제약 조건 하에서 FAHT의 모델 복잡도(예: 노드 수)는 표준 Hoeffding 트리와 비교해 어떻게 되는가?
• RQ5 스트리밍 환경에서 속성 선택은 공정성과 모델의 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 표준 Hoeffding 트리에 비해 FAHT는 훨씬 낮은 차별성 점수를 기록했으며, Adult 데이터셋에서 민감 속성과 예측 경계 간 상관관계가 -0.21에서 -0.20으로 21% 감소했다.
• FAHT의 모델 복잡도는 HT보다 낮아 트리 내 노드 수가 더 적어, 더 보수적이고 잠재적으로 더 해석 가능한 구조임을 시사한다.
• FAHT는 중간 수준의 예측 성능를 유지하며, 실제 클래스 경계와의 상관계수는 0.23으로, HT의 0.52에 비해 지표와의 일치도가 더 높다.
• 공정한 정보 이득 기준은 민감 속성이 결정 경계에 미치는 영향을 성공적으로 감소시켰으며, 민감 속성과 예측 분할 간 피어슨 상관계수의 감소로 이를 입증했다.
• FAHT는 '나이'를 반복적으로 핵심 분할 속성으로 재선택하며, 수입과 강하게 상관관계가 있고 '자본 이득'보다 훨씬 덜 편향된 특성임을 반영하여 더 공정하고 안정적인 예측을 이끌어냈다.
• FAHT는 공정성을 유지하면서도 데이터 스트림의 변화에 동적으로 대응하여 분할을 조정함으로써 실시간 온라인 응용에 적합한 적응성과 유연성을 보였다.