[논문 리뷰] Measuring the quality of Synthetic data for use in competitions

James Jordon, Jinsung Yoon외 1명|arXiv (Cornell University)|2018. 06. 29.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 16

한 줄 요약

이 논문은 기계학습 경쟁에서 기밀성 때문에 데이터를 공유할 수 없는 상황에서 합성 데이터 품질을 평가하기 위한 새로운 메트릭인 합성 순위 일致도(Synthetic Ranking Agreement, SRA)를 제안한다. SRA는 합성 데이터에서 알고리즘의 상대적 성능 순위가 실재 데이터에서의 순위와 일치하는지를 측정함으로써, 합성 데이터 기반으로 모델을 선택하는 연구자들이 실재 데이터 기반 선택과 동일한 결정을 내릴 수 있도록 보장한다. 이는 전통적인 TSTR와 같은 기존 방법보다 더 실용적이고 개인정보 보호에 유리한 평가 방식을 제공한다.

ABSTRACT

Machine learning has the potential to assist many communities in using the large datasets that are becoming more and more available. Unfortunately, much of that potential is not being realized because it would require sharing data in a way that compromises privacy. In order to overcome this hurdle, several methods have been proposed that generate synthetic data while preserving the privacy of the real data. In this paper we consider a key characteristic that synthetic data should have in order to be useful for machine learning researchers - the relative performance of two algorithms (trained and tested) on the synthetic dataset should be the same as their relative performance (when trained and tested) on the original dataset.

연구 동기 및 목표

• 기밀성 때문에 공유할 수 없는 데이터 상황에서 개인정보 보호 기반 기계학습 경쟁에서 합성 데이터 품질을 평가하는 데 도전하는 것.
• 합성 데이터 기반으로 모델을 선택하는 연구자들이 실재 데이터 기반 선택과 동일한 선택을 내릴 수 있도록 보장하는 것.
• 단순 통계적 유사성 외에도 알고리즘 비교에 실용적인 유용성을 반영하는 메트릭을 제안하는 것.
• SRA가 TSTR와 같은 기존 메트릭보다도 라벨 노이즈 상황에서 더 강력한 개인정보 보호 보장을 제공할 수 있음을 보여주는 것, 특히 라벨 노이즈가 존재할 경우에 유의미한 성능을 보임.
• 12종의 다양한 기계학습 알고리즘을 사용하여 실용적이고 재현 가능한 합성 데이터 생성 방법 평가 기준을 제공하는 것.

제안 방법

• 합성 데이터에서 두 알고리즘 간 상대적 성능 순위가 실재 데이터에서의 순위와 일치할 확률을 측정하는 메트릭으로 합성 순위 일치도(SRA)를 제안한다.
• SRA를 수학적으로 정의하여, 실재 데이터와 합성 데이터 간에 두 알고리즘 간 성능 차이의 부호가 유지되는 쌍별 비교의 비율로 정의한다.
• 실재 데이터와 합성 데이터에서 순위 일관성을 평가하기 위해 고정된 12종의 다양한 기계학습 알고리즘(예: 로지스틱 회귀, XGBoost, 랜덤 포레스트)을 사용한다.
• 실재 및 합성 테스트 세트에서 알고리즘 성능을 계산하기 위해 표준 성능 메트릭(AUROC)을 사용한다.
• 다양한 수준의 라벨 노이즈에서 SRA와 TSTR(합성 데이터로 학습, 실재 데이터로 테스트) 메트릭을 비교하여 개인정보-품질 트레이드오프를 평가한다.
• 실증 평가를 위해 MAGGIC 데이터셋을 사용하고, 재현 가능성을 위해 코드를 공개한다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 기계학습 알고리즘의 상대적 성능 순위가 실재 데이터에서의 순위를 신뢰성 있게 반영하는가?
• RQ2 SRA는 합성 데이터 평가에 있어 TSTR보다 더 효과적이고 개인정보 보호에 유리한 메트릭으로 기능할 수 있는가?
• RQ3 개인정보 보호를 위해 라벨 노이즈를 증가시킬 경우 SRA와 TSTR는 어떻게 변화하며, 이는 합성 데이터의 유용성과 개인정보 보호 간 트레이드오프에 어떤 함의를 갖는가?
• RQ4 동일한 알고리즘 클래스의 여러 변형을 포함할 경우 SRA 메트릭은 얼마나 왜곡되는가?
• RQ5 실재 데이터에 노이즈가 첨가된 상황에서도 알고리즘 순위 일관성을 유지하는 합성 데이터 생성 방법을 SRA가 식별할 수 있는가?

주요 결과

• 라벨 노이즈가 도입되더라도 SRA는 안정적이거나 약간 증가하는 경향을 보이며, TSTR보다 데이터 변형에 덜 민감함을 시사한다(예: p=0.10에서 p=0.15로 증가).
• TSTR 성능은 기대한 바와 같이 라벨 노이즈가 증가함에 따라 단조롭게 감소한다. 이는 노이즈가 많은 데이터에서 모델 정확도가 떨어지기 때문이다.
• SRA는 강력한 개인정보 보호 조건 하에서도 알고리즘 순위 일관성을 유지하는 합성 데이터 생성 방법을 식별할 수 있어, 더 나은 개인정보-유용성 트레이드오프를 보여준다.
• 동일한 알고리즘 클래스의 여러 변형(예: 다양한 깊이의 MLP)을 포함할 경우 SRA가 인위적으로 과대평가될 수 있으므로, 평가 시 알고리즘 선택에 주의가 필요하다.
• SRA는 알고리즘 선택의 일관성을 직접 측정하므로, TSTR보다 기계학습 경쟁 기반 모델 개발에 더 실용적인 평가 메트릭을 제공한다.
• SRA는 노이즈에 강건하며, 실재 데이터가 변형된 상황에서도 높은 순위 일致도를 유지하므로, 개인정보 보호 기반 기계학습 응용에 이상적이다.