[논문 리뷰] Auditing and Generating Synthetic Data with Controllable Trust Trade-offs

Brian Belgodere, Pierre Dognin외 12명|arXiv (Cornell University)|2023. 04. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 신뢰성, 유효성, 개인정보 보호, 공정성, 내구성 등 다양한 측면에서 합성 데이터의 신뢰도를 평가하는 통합 감사 프레임워크를 제안한다. 신뢰성 지수를 제어 가능한 방식으로 활용해 모델 선택을 안내하며, 이는 다양한 데이터셋(예: 법학원, 헬스케어)에서 다양한 트레이드오프 상황에서도 뛰어난 성능을 보이며, 불확실성을 고려할 경우 10개의 가중 평가 중 6개에서 합성 데이터가 최상위 순위를 기록한다.

ABSTRACT

Real-world data often exhibits bias, imbalance, and privacy risks. Synthetic datasets have emerged to address these issues. This paradigm relies on generative AI models to generate unbiased, privacy-preserving data while maintaining fidelity to the original data. However, assessing the trustworthiness of synthetic datasets and models is a critical challenge. We introduce a holistic auditing framework that comprehensively evaluates synthetic datasets and AI models. It focuses on preventing bias and discrimination, ensures fidelity to the source data, assesses utility, robustness, and privacy preservation. We demonstrate the framework's effectiveness by auditing various generative models across diverse use cases like education, healthcare, banking, and human resources, spanning different data modalities such as tabular, time-series, vision, and natural language. This holistic assessment is essential for compliance with regulatory safeguards. We introduce a trustworthiness index to rank synthetic datasets based on their safeguards trade-offs. Furthermore, we present a trustworthiness-driven model selection and cross-validation process during training, exemplified with "TrustFormers" across various data types. This approach allows for controllable trustworthiness trade-offs in synthetic data creation. Our auditing framework fosters collaboration among stakeholders, including data scientists, governance experts, internal reviewers, external certifiers, and regulators. This transparent reporting should become a standard practice to prevent bias, discrimination, and privacy violations, ensuring compliance with policies and providing accountability, safety, and performance guarantees.

연구 동기 및 목표

• 다양한 모odal 및 규제 요구사항을 고려한 합성 데이터에 대한 종합적이고 다차원적인 감사가 부족한 문제를 해결하기 위해.
• 개인정보 보호, 공정성, 유효성 등의 핵심 보호 조치 간 트레이드오프를 정량화할 수 있는 통합된 신뢰성 지수를 개발하기 위해.
• 신뢰성 지수에 기반한 모델 선택 및 교차검증을 통해 합성 데이터 생성에서 제어 가능한 신뢰성을 실현하기 위해.
• EU AI Act 및 미국의 알고리즘 책임법과 같은 변화하는 AI 규제에 부응하기 위해 투명하고 감사 가능한 합성 데이터를 제공함으로써 규정 준수를 보장하기 위해.
• 규제 당국, 데이터 과학자, 거버넌스 팀 등 이해관계자 간의 협업을 표준화된 보고서 및 리스크 투명성 제공을 통해 촉진하기 위해.

제안 방법

• 신뢰성의 다섯 가지 기둥(정밀도, 유효성, 개인정보 보호, 공정성, 내구성)을 기반으로 합성 데이터를 종합적으로 평가하는 감사 프레임워크를 제안한다.
• 신뢰성 차원의 가중 점수를 통합하여 트레이드오프 분석이 가능한 신뢰성 지수를 도입한다.
• 원하는 보호 조치 트레이드오프를 충족하는 모델을 선택하기 위해 학습 중에 신뢰성 기반 교차검증 과정을 적용한다.
• 특정 신뢰성 지수 설정에 최적화된 손실 함수로 훈련된 미분 가능한 생성 모델인 TrustFormers를 개발한다.
• 통계적 변동성에 대응하기 위해 $ R^{ au}_{ au} $ 를 활용한 불확실성 인식 평가를 적용하여 합성 데이터 순위의 신뢰성을 향상시킨다.
• 교육, 헬스케어, 은행, 인사 관리 등 다양한 용도에 적합한 표본, 시계열, 시각, NLP 모달리티의 실세계 데이터셋을 활용해 프레임워크의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 다양한 신뢰 차원—정밀도, 유효성, 개인정보 보호, 공정성, 내구성—을 동시에 평가할 수 있는 합성 데이터의 종합적 감사 방법은 무엇인가?
• RQ2 합성 데이터 생성에서 경쟁하는 신뢰 목표 간 트레이드오프를 효과적으로 정량화하고 제어할 수 있는 방법은 무엇인가?
• RQ3 신뢰성 지수가 모델 선택 및 교차검증을 향상시켜 더 신뢰도 있고 규정 준수 가능한 합성 데이터를 생성하는 데 기여할 수 있는가?
• RQ4 데이터 분할의 불확실성을 고려할 경우 합성 데이터 성능 순위와 신뢰성은 어떻게 영향을 받는가?
• RQ5 제어 가능한 신뢰성 트레이드오프 하에서 TrustFormers는 기존 베이스라인(예: SDV, DP-GAN, PATE-GAN)에 비해 어느 정도 뛰어난 성능을 보일 수 있는가?

주요 결과

• 신뢰성 지수를 활용해 훈련된 TrustFormers는 법학원 데이터셋에서 10개의 가중 설정 중 6개에서 다른 합성 데이터를 압도하며 가장 높은 평균 신뢰성 지수를 기록했다.
• 불확실성을 $ R^{ au}_{ au} $ 를 통해 고려할 경우 TrustFormers의 합성 데이터는 랭킹에서 다시 최상위 순위를 확보하여 데이터 분할 변동성에 대한 강건성을 입증했다.
• 개인정보 보호 설정 $ ho = 3 $ 과 $ ho = 1 $ 을 가진 프라이빗 TrustFormer은 다수의 지표에서 가장 높은 신뢰성 지수 점수(각각 39 및 38)를 기록했으며, 비개인정보 보호 기준인 SDV-CTGAN보다도 뛰어난 성능을 보였다.
• 프레임워크는 DP-GAN($ ho = 3 $)이 근사적으로 완벽한 개인정보 보호를 달성했지만 유효성과 공정성 측면에서 떨어지는 점을 효과적으로 파악해 트레이드오프를 드러냈다.
• 신뢰성 지수가 다양한 모달리티 및 용도에서 합성 데이터를 효과적으로 순위 매겼으며, TrustFormers는 모든 평가에서 일관되게 상위 10퍼센트 이내에 순위를 유지했다.
• 불확실성 인식 평가를 통합함으로써 순위의 변동성이 감소했으며, 이는 TrustFormers가 데이터 분할의 통계적 변동성에도 불구하고 높은 성능을 유지함을 보여주었다.