[논문 리뷰] Data Cleaning for Accurate, Fair, and Robust Models: A Big Data - AI Integration Approach

Ki Hyun Tae, Yuji Roh외 3명|arXiv (Cornell University)|2019. 04. 22.

Data Quality and Management인용 수 8

한 줄 요약

이 논문은 기계학습에서 모델 정확도, 공정성, 내구성을 향상시키기 위해 데이터 정제, 불공정성 완화, 데이터 정제를 통합한 통합 프레임워크인 MLClean을 제안한다. 엔티티 해석, 이상 탐지, 재가중 기법을 밀접하게 결합함으로써 MLClean은 Census 및 독일 신용 데이터셋에서 순차적 처리 대비 2.2–2.5배 빠른 런타임을 달성하며 뛰어난 성능을 발휘한다.

ABSTRACT

The wide use of machine learning is fundamentally changing the software development paradigm (a.k.a. Software 2.0) where data becomes a first-class citizen, on par with code. As machine learning is used in sensitive applications, it becomes imperative that the trained model is accurate, fair, and robust to attacks. While many techniques have been proposed to improve the model training process (in-processing approach) or the trained model itself (post-processing), we argue that the most effective method is to clean the root cause of error: the data the model is trained on (pre-processing). Historically, there are at least three research communities that have been separately studying this problem: data management, machine learning (model fairness), and security. Although a significant amount of research has been done by each community, ultimately the same datasets must be preprocessed, and there is little understanding how the techniques relate to each other and can possibly be integrated. We contend that it is time to extend the notion of data cleaning for modern machine learning needs. We identify dependencies among the data preprocessing techniques and propose MLClean, a unified data cleaning framework that integrates the techniques and helps train accurate and fair models. This work is part of a broader trend of Big data -- Artificial Intelligence (AI) integration.

연구 동기 및 목표

• 고위험 응용 분야에서 정확하고 공정하며 내구성 있는 기계학습 모델에 대한 증가하는 수요를 해결한다.
• 데이터 관리, 공정성, 보안 분야에서의 데이터 전처리 기법 간의 종속성을 규명한다.
• 기존의 데이터 정제, 불공정성 완화, 데이터 정제를 하나의 확장 가능한 프레임워크로 통합한다.
• 모델 보정을 후행적으로 수행하는 것보다 데이터 자체를 전처리하는 것이 모델 품질 확보에 더 효과적임을 입증한다.
• 모델 내부 정보가 필요 없이 어떤 기계학습 모델에도 대응할 수 있는 엔드 투 엔드 데이터 준비를 가능하게 한다.

제안 방법

• 엔티티 해석(중복 탐지용), 이상 탐지(적대적 예외값용), 예제 재가중(공정성용)의 세 가지 전처리 기법을 통합한다.
• 이상 탐지 이전에 유사한 데이터 포인트를 군집화하기 위해 k-means 클러스터링을 사용하여 계산 비용을 감소시킨다.
• 같은 나이를 가진 'Joe'와 'Joseph'와 같은 중복 항목을 병합하기 위해 쌍별 비교를 엔티티 해석에 적용한다.
• 학습 예외의 가중치를 조정하여 예측의 민족적 균형을 향상시키기 위해 예제 재가중을 활용한다.
• 모델을 블랙박스로 간주하여 내부 접근이 필요 없이 어떤 모델 아키텍처와도 호환성을 확보한다.
• 데이터 정제 및 정제가 중복 계산을 줄이기 위해 밀접하게 연결된 통합 파이프라인에서 전처리 단계를 순차적으로 처리한다.

실험 결과

연구 질문

• RQ1 실제 데이터셋에서 데이터 정제, 불공정성 완화, 데이터 정제 기법 간의 종속성은 어떻게 상호작용하는가?
• RQ2 통합 프레임워크가 기존의 데이터 정제, 불공정성 완화, 적대적 데이터 방어를 효과적으로 통합할 수 있는가?
• RQ3 통합 전처리에서 처리 순서가 모델 정확도, 공정성, 런타임에 미치는 영향은 어떠한가?
• RQ4 전처리 단계를 밀접하게 결합함으로써 성능을 저하시키지 않고 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 블랙박스이자 모델에 종속되지 않는 프레임워크가 순차적 또는 고립된 접근 방식보다 더 높은 정확도와 공정성을 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• MLClean은 Census 및 독일 신용 데이터셋에서 각각 0.780과 0.657의 테스트 정확도를 달성하여 최고의 순차적 파이프라인(⟨S,C,M⟩)과 동일한 성능을 보였고, 런타임을 2.2–2.5배 감소시켰다.
• Census에서의 공정성 비율(민족적 균형)은 0.684로 향상되었고, 독일 신용 데이터셋에서는 0.874로 나타나 최고의 순차적 구성과 동일한 결과를 기록했으며 실행 속도는 크게 향상되었다.
• ⟨M,S,C⟩ 순서로 실행한 결과, 데이터 정제와 불공정성 완화 단계 간의 종속성으로 인해 ⟨S,C,M⟩에 비해 공정성이 낮아졌다.
• MLClean은 Census에서 178.80초, 독일 신용 데이터셋에서 7.72초로 런타임을 단축시켰고, 순차적 ⟨S,C,M⟩ 파이프라인(391.64초 및 19.30초)보다 2배 이상 빠른 성능을 보였다.
• 클러스터링 기반 이상 탐지와 엔티티 해석의 밀접한 통합으로 중복 처리가 감소하여 확장성 향상이 이루어졌다.
• 개별 데이터 정제(C) 또는 불공정성 완화(M)만 사용한 기준 방법은 고립된 환경에서 최적의 성능을 내지 못했으며, 통합 전처리의 필요성을 강조했다.