[논문 리뷰] PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning

Yuli Zheng, Zhenyu Wu외 3명|arXiv (Cornell University)|2020. 10. 06.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 11

한 줄 요약

PCAL은 적대적 학습을 사용하여 유티리티와 프라이버시의 균형을 이루는 프라이버시 보장형 신용 리스크 모델링 프레임워크를 제안한다. 클라이언트 측에서 실행되는 마스킹 모델을 통해 민감한 금융 데이터를 익명화하면서도 신용 평가에 필요한 예측 유티리티를 유지한다. 이는 상태의 기술 수준을 넘어선 균형을 달성하며, BLS에서 대출 결정 정확도 95.29%를 기록하고 다양한 공격 모델에서 프라이버시 泄露를 크게 줄였다(R² < 0.07).

ABSTRACT

Credit risk modeling has permeated our everyday life. Most banks and financial companies use this technique to model their clients' trustworthiness. While machine learning is increasingly used in this field, the resulting large-scale collection of user private information has reinvigorated the privacy debate, considering dozens of data breach incidents every year caused by unauthorized hackers, and (potentially even more) information misuse/abuse by authorized parties. To address those critical concerns, this paper proposes a framework of Privacy-preserving Credit risk modeling based on Adversarial Learning (PCAL). PCAL aims to mask the private information inside the original dataset, while maintaining the important utility information for the target prediction task performance, by (iteratively) weighing between a privacy-risk loss and a utility-oriented loss. PCAL is compared against off-the-shelf options in terms of both utility and privacy protection. Results indicate that PCAL can learn an effective, privacy-free representation from user data, providing a solid foundation towards privacy-preserving machine learning for credit risk analysis.

연구 동기 및 목표

• 민감한 금융 데이터가 광범위하게 수집되면서 신용 리스크 모델링의 프라이버시 우려가 증가하고 있는 데 대응하기 위해.
• 신용 평가의 예측 성능을 희생시키지 않은 채 프라이버시를 보존하는 프레임워크를 개발하기 위해.
• 클라이언트와 금융기관 간의 안전한 데이터 공유를 가능하게 하기 위해, 적대적 훈련을 통해 민감한 속성을 마스킹하기 위해.
• 동적 프라이버시 해킹 모델을 사용하여 유티리티와 프라이버시 보호 간의 트레이드오프를 정량적으로 평가하기 위해.

제안 방법

• 원시 금융 데이터를 신용 리스크 예측에 유용한 방식으로 익명화된 표현으로 변환하는 클라이언트 측 마스킹 모델을 훈련한다.
• 프레임워크는 유티리티 손실(신용 예측을 위한 것)과 프라이버시 위험 손실(민감한 속성의 추론을 방해하기 위한 것)을 균형 잡는 최소-최대 적대적 훈련 목표를 사용한다.
• 민감한 속성(예: 소득, 잔고 등)을 마스킹된 표현에서 예측하기 위해 프라이버시 해킹 모델을 훈련하며, 그 성공률을 프라이버시 泄露 측정 지표로 사용한다.
• 마스킹 모델은 프라이버시 해킹 모델의 성능을 최소화하도록 최적화되어 민감한 정보가 효과적으로 가림을 보장한다.
• 다양한 회귀 모델(예: SVR, RFR, ElasticNet, 딥 네트워크)의 앙상블을 프라이버시 공격자로 사용하여 강건성 평가를 수행한다.
• 성능은 정확도와 프라이버시 공격에 대한 R²를 기준으로 BLS(50,000 건)와 Lending Club Loan(890,000 건) 두 개의 실세계 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 적대적 학습 프레임워크는 신용 리스크 모델링을 위한 예측 유티리티를 유지하면서 민감한 금융 속성을 효과적으로 마스킹할 수 있는가?
• RQ2 제안된 PCAL 프레임워크는 단순 데이터 제거 전략(약한/강한 보호)과 비교해 유티리티와 프라이버시 면에서 어떻게 다른가?
• RQ3 다양한 기계학습 모델을 사용한 프라이버시 추론 공격에 대해 프레임워크는 어느 정도 저항력을 보이는가?
• RQ4 익명화된 표현에서 재식별 위험을 크게 줄이며 높은 신용 예측 정확도를 유지하는가?

주요 결과

• PCAL은 BLS 데이터셋에서 대출 결정 정확도 95.29%를 기록했으며, 약한 보호(77.14%) 및 강한 보호(57.40%) 기준선보다 뚜렷이 뛰어났다.
• Lending Club 데이터셋에서는 PCAL이 97.39%의 정확도를 유지했으며, 모든 기준선을 초월했고, 원본 데이터(UP)의 성능에 근접했다.
• PCAL의 마스킹 표현에서 모든 공격 모델에 대해 프라이버시 해킹 모델의 R² 값이 0.07 이하로 낮아, 추론 공격에 강력한 저항성을 보였다.
• 반면, 원본 데이터(UP)는 R² 최대 1.0까지의 프라이버시 공격을 허용했고, 약한 및 강한 보호 전략 역시 여전히 유의미한 유출(> R² 0.1)을 허용했다.
• PCAL는 뛰어난 유티리티-프라이버시 트레이드오프를 보였으며, 고성능 예측 성능을 유지하면서 민감한 속성 재구성 위험을 최소화했다.
• 딥 네트워크 및 전통적 회귀 모델을 포함한 다양한 공격 모델에 걸쳐 프라이버시 유출을 효과적으로 줄였으며, 이는 강건성을 확인한다.