[논문 리뷰] Online and Customizable Fairness-aware Learning

Wenbin Zhang|arXiv (Cornell University)|2020. 10. 15.

Data Stream Mining Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 비정상적인 데이터 스트림 환경에서 동적으로 적응 가능한 공정성 인식 분할 기준을 갖춘 온라인 의사결정나무 프레임워크인 FAHT와 2CFAHT를 제안한다. 이는 정확도와 공정성 간의 세밀한 트레이드오프를 가능하게 하며, 기준 모델 대비 최대 60%까지 차별성을 감소시킨다. 2CFAHT는 Adult 데이터셋에서 41.75%의 공정성 위반 감소, Census 데이터셋에서는 60.0% 감소를 기록했으며, 높은 예측 정확도를 유지한다.

ABSTRACT

While artificial intelligence (AI)-based decision-making systems are increasingly popular, significant concerns on the potential discrimination during the AI decision-making process have been observed. For example, the distribution of predictions is usually biased and dependents on the sensitive attributes (e.g., gender and ethnicity). Numerous approaches have therefore been proposed to develop decision-making systems that are discrimination-conscious by-design, which are typically batch-based and require the simultaneous availability of all the training data for model learning. However, in the real-world, the data streams usually come on the fly which requires the model to process each input data once ``on arrival'' and without the need for storage and reprocessing. In addition, the data streams might also evolve over time, which further requires the model to be able to simultaneously adapt to non-stationary data distributions and time-evolving bias patterns, with an effective and robust trade-off between accuracy and fairness. In this paper, we propose a novel framework of online decision tree with fairness in the data stream with possible distribution drifting. Specifically, first, we propose two novel fairness splitting criteria that encode the data as well as possible, while simultaneously removing dependence on the sensitive attributes, and further adapts to non-stationary distribution with fine-grained control when needed. Second, we propose two fairness decision tree online growth algorithms that fulfills different online fair decision-making requirements. Our experiments show that our algorithms are able to deal with discrimination in massive and non-stationary streaming environments, with a better trade-off between fairness and predictive performance.

연구 동기 및 목표

• 지속적으로 도착하는 데이터와 변화하는 분포를 가진 온라인 스트리밍 환경에서 공정성 인식 학습의 부족을 해결하기 위해.
• 실시간으로 차별성 완화, 개념 변화, 사용자 정의 가능한 공정성-정확도 트레이드오프를 동시에 처리할 수 있는 프레임워크를 개발하기 위해.
• 비정상 조건에서도 민감한 속성에 의존하지 않으며 데이터를 효과적으로 표현하는 분할 기준을 설계하기 위해.
• 조정 가능한 파라미터 γ를 통해 애플리케이션 기반 공정성 제어를 가능하게 하여 성능 제약 하에서 비즈니스 요구사항을 충족시키기 위해.
• 기존의 배치 처리가 필요 없고 과거 데이터 저장 없이도 증분 학습이 가능한 확장 가능한 온라인 솔루션을 제공하기 위해.

제안 방법

• 정적 스트림에 적합한 기준(FAHT)과 비정적 스트림에 적합한 적응형 공정성 정보 이득(AFIG)을 갖춘 두 가지 공정성 인식 분할 기준을 제안한다.
• 변화하는 데이터 분포에 적응하면서 데이터 인코딩과 차별성 제거를 균형 잡는 새로운 공정성 인식 정보 이득 메트릭인 AFIG를 도입한다.
• 2CFAHT에서 개념 변화 탐지 및 잊기 메커니즘을 적용하여 분포 변화 상황에서도 모델의 관련성과 공정성을 유지한다.
• 정확도와 공정성 간 트레이드오프를 제어할 수 있는 조정 가능한 하이퍼파rameter γ를 활용한다. 이는 다양한 애플리케이션 환경에서 세밀한 맞춤 설정을 가능하게 한다.
• 실세계 데이터셋에서 공정성 및 분류 성능 향상을 검증하기 위해 McNemar의 검정과 통계 분석을 적용한다.
• 각 데이터 인스턴스가 도착하는 즉시 한 번만 처리하는 온라인 트리 성장 전략을 적용하여 저장소나 재처리가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 지속적으로 도착하고 분포가 변화하는 온라인 스트리밍 환경에서 공정성 인식 의사결정나무를 효과적으로 확장할 수 있는가?
• RQ2 개념 변화에 동적으로 적응하면서 실시간으로 공정성과 예측 정확도를 동시에 최적화할 수 있는가?
• RQ3 조정 가능한 파라미터 γ를 통해 온라인 학습 환경에서 사용자 정의 가능한 애플리케이션 기반 공정성-정확도 트레이드오프를 달성할 수 있는가?
• RQ4 적응형 공정성 기준은 비정상적인 데이터 스트림 환경에서 높은 모델 정확도를 유지하면서 얼마나 차별성을 감소시킬 수 있는가?
• RQ5 스트리밍 조건 하에서 배치 기반 공정성 방법과 비교해 본다면, 제안된 프레임워크는 공정성 감소와 모델 복잡도 측면에서 어떤가?

주요 결과

• 2CFAHT는 기준 모델 대비 Adult 데이터셋에서 41.75%의 차별성 감소, Census 데이터셋에서는 60.0% 감소를 기록했으며, 정확도 손실는 최소한이었다.
• AFIG 기준은 FAHT 대비 Census 데이터셋에서 28.1%의 차별성 감소, Adult 데이터셋에서는 6.86% 감소를 달성했다.
• 2CFAHT는 Census 데이터셋에서 높은 정확도(95.03%)를 유지하면서도 공정성 위반을 0.88%로 줄였으며, FAHT(3.63% 차별성)와 2CFAHT-(2.20% 차별성)를 모두 능가했다.
• McNemar의 검정을 통해 열악한 집단의 긍정 분류 성능 향상이 통계적으로 유의미하다고 확인되었으며, Census 데이터셋에서 p-value는 2.2e-16 미만이었다.
• FAHT는 2CFAHT보다 낮은 모델 복잡도를 보였으며, 메모리 오버헤드가 적어 정적 또는 안정된 데이터 환경에 더 적합하다.
• 프레임워크는 γ를 통한 세밀한 공정성 제어를 성공적으로 가능하게 했으며, γ를 낮출수록 정확도는 증가하지만 공정성은 감소함을 보여주어 사용자 정의 가능한 트레이드오프를 입증했다.