[논문 리뷰] Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining

Florian Tramèr, Gautam Kamath외 1명|arXiv (Cornell University)|2022. 12. 13.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 기밀 보장 기반 기계 학습에서 대규모 공개 웹 스크래핑 데이터셋을 활용한 사전 훈련에 대한 비판을 제기하며, 이러한 사전 훈련이 기밀성 주장을 약화시키고 민감한 분야에서 유티리티 향상에도 기여하지 않을 수 있음을 주장한다. 공개 데이터가 기밀성 중립적이라는 가정을 도전하며, 더 책임감 있는 데이터 관행, 더 나은 벤치마크, 모델 수준의 기밀 보장 기반 기계 학습을 넘어서는 통합적 기밀 고려사항의 필요성을 제기한다.

ABSTRACT

The performance of differentially private machine learning can be boosted significantly by leveraging the transfer learning capabilities of non-private models pretrained on large public datasets. We critically review this approach. We primarily question whether the use of large Web-scraped datasets should be viewed as differential-privacy-preserving. We caution that publicizing these models pretrained on Web data as "private" could lead to harm and erode the public's trust in differential privacy as a meaningful definition of privacy. Beyond the privacy considerations of using public data, we further question the utility of this paradigm. We scrutinize whether existing machine learning benchmarks are appropriate for measuring the ability of pretrained models to generalize to sensitive domains, which may be poorly represented in public Web data. Finally, we notice that pretraining has been especially impactful for the largest available models -- models sufficiently large to prohibit end users running them on their own devices. Thus, deploying such models today could be a net loss for privacy, as it would require (private) data to be outsourced to a more compute-powerful third party. We conclude by discussing potential paths forward for the field of private learning, as public pretraining becomes more popular and powerful.

연구 동기 및 목표

• 기밀 보장 기반 기계 학습에서 웹에서 스크래핑한 공개 데이터를 사전 훈련하는 것이 기밀성 중립적이라는 가정을 도전하기 위해.
• 현재의 벤치마크가 민감한 실제 도메인에서 기밀 기반 모델의 유티리티를 정확히 반영하고 있는지 의문을 제기하기 위해.
• 제3자 인프라에 큰 기밀 모델을 배포할 경우 데이터 외주화로 인해 기밀 리스크가 증가할 수 있음을 강조하기 위해.
• 특히 인터넷에서 확보한 훈련 데이터에 대해 더 세밀한 기밀 고려사항을 도입할 것을 주장하기 위해.
• 기존 표준 기계 학습 벤치마크가 아닌 실제 기밀 민감도가 있는 작업을 반영한 더 나은 벤치마크의 필요성을 촉구하기 위해.

제안 방법

• 웹 스크래핑된 데이터셋을 사전 훈련에 사용할 경우, 특히 민감한 정보를 포함할 수 있다는 점에서 기밀성에 미치는 영향을 분석하기 위해.
• 기본 기계 학습 벤치마크(예: ImageNet, GLUE)를 기밀 기반 학습 평가에 사용하는 것에 대한 비판을 제기하며, 이러한 데이터셋이 실제 기밀 제약 조건을 반영하지 못한다는 점을 주장하기 위해.
• 향후 기초 모델이 명시적인 기밀 보호 조치(예: 동의 메커니즘 또는 데이터 소스 수준의 기밀 보장)를 통해 사전 훈련되어야 한다고 제안하기 위해.
• 기본 데이터가 부족하거나 매우 민감한 기밀 민감도 도메인을 반영한 새로운 벤치마크 개발을 제안하기 위해.
• 모델 중심 기반 기밀 연구에서 탈피해 데이터 수집, 데이터 수명 주기, 모델 배포 관행을 포함한 통합적 기밀 연구로의 전환을 주장하기 위해.

실험 결과

연구 질문

• RQ1 민감한 콘텐츠의 기억화 가능성이 있는 바탕으로, 대규모 공개 웹 데이터를 사전 훈련하는 것이 기밀 보장 기반 기계 학습과 진정으로 호환되는가?
• RQ2 기존의 기밀 기반 학습을 위한 벤치마크가 기밀 민감도 도메인에 모델을 배포하는 데서 진정으로 반영하는 과제를 어느 정도 반영하고 있는가?
• RQ3 제3자 인프라에 모델을 배포할 경우, 웹 데이터를 활용한 공개 사전 훈련이 순기밀 손실을 초래할 수 있는가?
• RQ4 이진 분류인 '공개' 대 '기밀'을 넘어서, 인터넷에서 확보한 훈련 데이터에 대해 더 세밀한 기밀 기준을 수립할 수 있는 방법은 무엇인가?
• RQ5 특히 명시적으로 기밀 정보로 표시되지 않았더라도 개인 식별 정보나 민감한 정보를 포함할 수 있는 데이터를 기반으로 대규모 모델을 사전 훈련할 경우, 그 영향은 무엇인가?

주요 결과

• 웹 스크래핑된 데이터를 사전 훈련하는 것은 기밀 보장을 보장하지 않으며, 이러한 데이터는 민감하거나 개인 식별 정보를 포함할 수 있고, 이를 기억하고 재생산할 수 있기 때문이다.
• ImageNet, GLUE와 같은 표준 벤치마크를 사용할 경우, 공개 사전 훈련을 통해 기밀 보장을 '무료'로 달성할 수 있기 때문에, 기밀 기반 학습에서의 진전을 잘못된 느낌으로 암시할 수 있다.
• 강력한 기밀 보장 보장(예: ε=1)이 있더라도, 공개 사전 훈련 후 기밀 데이터로 미세 조정된 모델은 사전 훈련 데이터 자체가 기밀을 존중하지 않는 한 여전히 기밀 리스크를 안고 있을 수 있다.
• 현재의 패러다임은 사용자가 더 많은 컴퓨팅 자원을 확보한 제3자에게 자신의 기밀 데이터를 외주해야 하므로 순기밀 손실로 이어질 수 있다.
• 실제 기밀 민감도가 있는 작업과 잘 연관된 기밀 기반 학습을 위한 신뢰할 수 있는 벤치마크가 현재로선 존재하지 않아, 진전 측정이 약화되고 있다.