[논문 리뷰] Fair Data Integration.

Sainyam Galhotra, Karthikeyan Shanmugam외 2명|arXiv (Cornell University)|2020. 06. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 4

한 줄 요약

이 논문은 조건부 독립성 검정과 군집 테스팅을 활용하여 예측 성능을 유지하면서 편향을 제거하는 최소한의 특징 집합을 식별하는 인과적이고 간섭 기반 접근법을 제안한다. 이 방법은 선형 복잡도 이하의 복잡도를 달성하고 사전에 지정된 구조적 인과 모델이 필요 없이 간섭 기반의 공정성을 보장한다.

ABSTRACT

The use of machine learning (ML) in high-stakes societal decisions has encouraged the consideration of fairness throughout the ML lifecycle. Although data integration is one of the primary steps to generate high quality training data, most of the fairness literature ignores this stage. In this work, we consider fairness in the integration component of data management, aiming to identify features that improve prediction without adding any bias to the dataset. We work under the causal interventional fairness paradigm. Without requiring the underlying structural causal model a priori, we propose an approach to identify a sub-collection of features that ensure the fairness of the dataset by performing conditional independence tests between different subsets of features. We use group testing to improve the complexity of the approach. We theoretically prove the correctness of the proposed algorithm to identify features that ensure interventional fairness and show that sub-linear conditional independence tests are sufficient to identify these variables. A detailed empirical evaluation is performed on real-world datasets to demonstrate the efficacy and efficiency of our technique.

연구 동기 및 목표

• 기계 학습 라이프사이클 내에서 공정성 인식 데이터 통합의 격차를 해소하기 위해.
• 데이터셋에 편향을 도입하지 않으면서 모델 예측 성능를 향상시키는 특징를 식별하기 위해.
• 사전에 지정된 구조적 인과 모델이 필요 없이 데이터 통합에서 간섭 기반의 공정성을 보장하기 위해.
• 군집 테스팅 기법을 사용하여 공정성 식별의 계산 복잡도를 감소시키기 위해.

제안 방법

• 이 방법은 간섭 하에서 특징 부분집합과 결과 변수 간의 관계를 평가하기 위해 조건부 독립성 검정을 활용한다.
• 편향을 유발하지 않도록 안전하게 포함시킬 수 있는 특징를 결정하기 위해 인과적 간섭 기반 공정성 프레임워크를 사용한다.
• 최소한의 특징 집합을 효율적으로 식별하기 위해 군집 테스팅을 적용하여 필요한 조건부 독립성 검정의 수를 줄인다.
• 알려진 구조적 인과 모델을 가정하지 않고 관측 데이터와 통계적 검정에 의존하여 알고리즘이 작동한다.
• 이론적 분석을 통해 공정성 유지 특징를 식별하기 위해 선형 이하의 조건부 독립성 검정이 충분함을 증명한다.
• 이 방법은 정확성과 효율성을 동시에 확보하도록 설계되어 공정성과 예측 성능의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 예측 유틸리티를 유지하면서도 편향을 유발하지 않는 데이터셋 내 특징는 무엇인가?
• RQ2 기본적인 구조적 인과 모델에 대한 사전 지식이 없이도 데이터 통합에서 공정성을 어떻게 확보할 수 있는가?
• RQ3 정확도를 유지하면서도 조건부 독립성 검정의 수를 줄일 수 있는가?
• RQ4 데이터 통합에서 공정성 유지 특징를 식별하는 데 있어 이론적 복잡도 상한은 무엇인가?
• RQ5 기존의 공정성 인식 데이터 통합 기법과 비교할 때 제안된 방법은 효율성과 효과성 측면에서 어떻게 다른가?

주요 결과

• 제안된 알고리즘은 구조적 인과 모델이 필요 없이도 데이터 통합에서 간섭 기반의 공정성을 보장하는 특징를 정확히 식별한다.
• 선형 이하의 조건부 독립성 검정이 공정성 유지 특징를 식별하기에 이론적으로 충분하며, 계산 비용을 크게 감소시킨다.
• 군집 테스팅의 통합은 방법의 효율성을 향상시켜 실세계 데이터셋에서 확장 가능한 공정성 분석을 가능하게 한다.
• 실세계 데이터셋에 대한 실증 평가를 통해 방법이 높은 품질의 훈련 데이터를 지원하면서도 공정성을 유지하는 데 효과적임을 확인했다.
• 이 방법은 공정성과 예측 성능 사이의 균형을 이루며 실세계 데이터 통합 파이프라인에서 실용적인 타당성을 입증했다.