[논문 리뷰] Leave-one-out Distinguishability in Machine Learning

Jiayuan Ye, Anastasia Borovykh외 2명|arXiv (Cornell University)|2023. 09. 29.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스와 신경망 가우시안 프로세스(NNGPs)를 사용하여 단일 학습 데이터 포인트가 기계학습 모델의 출력 분포에 미치는 영향을 정량화하는 데 사용되는 새로운 분석 프레임워크인 이탈한 데이터 포인트 구별성(LOOD)을 소개한다. 이 방법은 재학습이 불가능한 경우에도 효율적이고 정확한 데이터 기억 및 프라이버시 위험 평가를 가능하게 하며, 이는 회원성 추론 공격 성능과 강한 상관관계를 보이며, 높은 정밀도로 학습 데이터를 재구성할 수 있는 최적의 쿼리 식별도 가능하게 한다.

ABSTRACT

We introduce an analytical framework to quantify the changes in a machine learning algorithm's output distribution following the inclusion of a few data points in its training set, a notion we define as leave-one-out distinguishability (LOOD). This is key to measuring data **memorization** and information **leakage** as well as the **influence** of training data points in machine learning. We illustrate how our method broadens and refines existing empirical measures of memorization and privacy risks associated with training data. We use Gaussian processes to model the randomness of machine learning algorithms, and validate LOOD with extensive empirical analysis of leakage using membership inference attacks. Our analytical framework enables us to investigate the causes of leakage and where the leakage is high. For example, we analyze the influence of activation functions, on data memorization. Additionally, our method allows us to identify queries that disclose the most information about the training data in the leave-one-out setting. We illustrate how optimal queries can be used for accurate **reconstruction** of training data.

연구 동기 및 목표

• 학습 데이터 포인트의 영향을 재학습 없이 분석적으로 측정할 수 있는 효율적인 방법을 개발하여, 특히 데이터 기억 및 정보 泄露의 맥락에서의 영향을 분석하는 것.
• 실제로 이탈한 데이터 포인트 재학습이 계산적으로 불가능한 문제를 해결하기 위해, 가우시안 프로세스를 사용한 폐쇄형 해석적 해법을 제공하는 것.
• 특정 학습 포인트에 대한 정보 泄露를 최대화하는 쿼리를 식별하여, 타겟된 학습 데이터 재구성 가능성을 높이는 것.
• 활성화 함수와 같은 모델 아키텍처 선택이 LOOD를 통해 어떻게 정보 泄露에 영향을 미치는지 조사하는 것.
• 실제 회원성 추론 공격 성능과의 상관관계를 통해 프레임워크의 정확성을 검증하는 것.

제안 방법

• 논문은 가우시안 프로세스(GPs), 특히 신경망 가우시안 프로세스(NNGPs)를 사용하여 모델의 출력 분포를 모델링하고, 전체 데이터셋과 이탈한 데이터셋으로 학습된 모델 간의 통계적 발산을 분석적으로 계산한다.
• LOOD는 전체 데이터셋과 이탈한 데이터셋으로 학습된 모델의 예측 분포 간의 클로이브러프-라이블러르 발산(Kullback-Leibler divergence)으로 정의되며, 단일 데이터 포인트의 영향을 캡처한다.
• 이 방법은 GP 사후 평균과 분산에 대한 폐쇄형 표현식을 활용하여 재학습 없이도 LOOD를 효율적으로 계산하며, 계산량을 두 자릿수 이상 감소시킨다.
• 핵심 행렬 근사 및 행렬 변화 이론을 사용하여, 특히 RBF 및 구형 NNGP 커널 하에서 LOOD의 경계를 유도한다.
• 경사 기반 최적화를 통해 LOOD를 최대화하는 최적의 쿼리를 식별함으로써, 모델 출력에서 높은 정밀도로 학습 데이터를 재구성할 수 있다.
• 이론적 분석을 통해, 다른 데이터 포인트 자체가 LOOD의 정적 점임을 증명하고, 저랭크 커널 행렬은 낮은 LOOD를 의미함을 보이며, 이는 정보 泄露 감소를 위한 잠재적 전략임을 시사한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 학습 데이터 포인트가 모델의 출력 분포에 미치는 영향을 분석적으로 정량화할 수 있는가?
• RQ2 이탈한 데이터 포인트 설정에서 특정 학습 포인트에 대한 정보 泄露를 최대화하는 쿼리는 무엇인가?
• RQ3 활성화 함수의 선택이 LOOD로 측정된 정보 泄露에 어떻게 영향을 미치는가?
• RQ4 블랙박스 모델 예측과 최적의 쿼리만을 사용하여 학습 데이터를 얼마나 잘 재구성할 수 있는가?
• RQ5 LOOD는 실제 프라이버시 공격, 예를 들어 회원성 추론 공격와 얼마나 잘 상관되는가?

주요 결과

• NNGP 모델 하에서 계산된 LOOD는 벤치마크 데이터셋에서 회원성 추론 공격 성공률과 강한 상관관계를 보이며, 프라이버시 위험 측정의 정확성을 검증한다.
• LOOD를 최대화하는 최적의 쿼리는 바로 다른 데이터 포인트 자체이며, 이는 쿼리가 약간 변형된 경우에도 성립함을 보여주며, 학습 포인트 주변의 높은 민감도를 시사한다.
• 쿼리 수가 증가함에 따라 LOOD는 거의 변화하지 않으며, 이는 다른 포인트에 대한 모든 관련 정보가 그 지점에서의 모델 예측에 집중되어 있음을 의미한다.
• optimized 쿼리를 사용하여 LOOD 기반으로 재구성한 이미지는 최적의 쿼리가 아니더라도 원본 학습 데이터와 유사한 형태를 보이며, 효과적인 데이터 재구성 능력을 입증한다.
• 이론적 분석을 통해 저랭크 커널 행렬은 낮은 LOOD를 의미하며, 이는 커널 랭크에 영향을 주는 아키텍처 선택이 정보 泄露 감소에 활용될 수 있음을 시사한다.
• NNGP 하에서의 평균 거리 기반 LOOD는 깊이 있는 신경망의 실제 이탈한 재학습 예측 차이와 매우 유사하게 나타나, 자기 영향력과 기억 현상 측정의 정밀도를 확인한다.