[논문 리뷰] The Differentially Private Lottery Ticket Mechanism

Lovedeep Gondara, Ke Wang외 1명|arXiv (Cornell University)|2020. 02. 16.

Gambling Behavior and Treatments참고 문헌 20인용 수 4

한 줄 요약

이 논문은 차별적 비밀보장 기반 로또 티켓 메커니즘(Differentially Private Lottery Ticket Mechanism, DPLTM)을 제안한다. DPLTM은 로또 티켓 가설을 활용하여 고품질의 희박한 하위신경망(승리 티켓)을 고유한 점수 함수를 통해 식별하는 엔드 투 엔드 차별적 비밀보장 학습 프레임워크이다. DPLTM는 DPSGD에 비해 더 나은 비밀보장-유용성 트레이드오프를 달성하며, 수렴 속도가 빠르고, 더 적은 비밀보장 예산으로 조기 정지가 가능하며, 다양한 데이터셋, 도메인, 아키텍처 간에 승리 티켓의 이식 가능성을 입증한다.

ABSTRACT

We propose the differentially private lottery ticket mechanism (DPLTM). An end-to-end differentially private training paradigm based on the lottery ticket hypothesis. Using "high-quality winners", selected via our custom score function, DPLTM significantly improves the privacy-utility trade-off over the state-of-the-art. We show that DPLTM converges faster, allowing for early stopping with reduced privacy budget consumption. We further show that the tickets from DPLTM are transferable across datasets, domains, and architectures. Our extensive evaluation on several public datasets provides evidence to our claims.

연구 동기 및 목표

• 큰 모델 크기가 노이즈를 증폭시켜 유용성을 떨어뜨리는 차별적 비밀보장 딥 러닝에서의 비밀보장-유용성 트레이드오프 문제를 해결한다.
• 모델 선택 및 학습 전 과정에서 비밀보장을 보장하는 엔드 투 엔드 차별적 비밀보장 학습에 로또 티켓 가설을 확장한다.
• 유용성은 높이고 파rameter 수는 적은 승리 티켓을 식별하기 위해 고유한 점수 함수를 개발한다. 이는 비밀보장-유용성 균형을 향상시킨다.
• 다양한 데이터셋, 도메인, 아키텍처 간에 승리 티켓의 이식 가능성을 입증하여, 후속 작업에서 비밀보장 비용을 줄인다.
• 엄격한 비밀보장 예산(예: ε = 0.2) 하에서 여러 데이터셋에서 최신 기술 수준의 성능을 달성하며, DPSGD를 능가한다.

제안 방법

• 단계 1: 무작위로 초기화된 큰 신경망을 이용해 크기 기반 프루닝을 통해 로또 티켓을 생성한다.
• 단계 2: 고유한 점수 함수를 사용한 지수 기반 메커니즘(Exponential Mechanism)을 통해 승리 티켓을 선택한다. 이 점수 함수는 높은 유용성과 낮은 파라미터 수를 우선순위로 한다.
• 점수 함수는 모델 성능과 희박성 간의 균형을 맞추어, 선택된 티켓이 정확하고 경량화된 상태임을 보장한다.
• 단계 3: 기울기 클리핑과 노이즈 주입을 포함한 차별적 비밀보장 확률적 경사하강법(DPSGD)을 사용해 선택된 승리 티켓을 학습시킨다.
• 모든 단계에 비밀보장을 적용한다: 티켓 생성, 선택, 학습. 이는 엔드 투 엔드 (ε, δ)-차별적 비밀보장을 보장한다.
• 지수 기반 메커니즘의 확률 분포를 활용해, 유용성 비례 확률로 티켓을 선택함으로써 선택 과정에서 비밀보장을 확보한다.

실험 결과

연구 질문

• RQ1 로또 티켓 가설을 엔드 투 엔드 차별적 비밀보장 딥 러닝에 확장할 수 있는가? 이 과정에서 비밀보장 보장을 유지할 수 있는가?
• RQ2 고유한 점수 함수를 통해 승리 티켓을 선택할 경우, 무작위 또는 히우리스틱 선택에 비해 비밀보장-유용성 트레이드오프가 향상되는가?
• RQ3 DPLTM는 DPSGD보다 더 빠른 수렴 속도를 보이며, 조기 정지 및 더 적은 비밀보장 예산 소비를 가능하게 하는가?
• RQ4 DPLTM에서 유도된 승리 티켓은 다양한 데이터셋, 도메인, 모델 아키텍처 간에 이식 가능한가?
• RQ5 엄격한 비밀보장 예산(예: ε = 0.2) 하에서 DPLTM는 최신 기술 수준의 DPSGD에 비해 어떻게 성능을 내는가?

주요 결과

• DPLTM는 모든 평가된 다섯 개의 데이터셋(MNIST, HAR, Fashion-MNIST, Kuzushiji-MNIST, ISOLET)에서 모든 비밀보장 예산 하에서 DPSGD를 뛰어넘는 성능을 보였다.
• ε = 0.2일 때, DPLTM는 MNIST에서 84%의 정확도를 달성했으며, 무작위로 선택된 티켓의 경우 79%에 그쳤다. 이는 점수 함수의 효능을 입증한다.
• DPLTM는 DPSGD보다 더 빠른 수렴 속도를 보이며, 조기 정지가 가능하고, 비밀보장 예산 소비를 줄이면서도 유용성을 유지하거나 향상시킨다.
• DPLTM에서 유도된 승리 티켓은 다양한 데이터셋과 아키텍처 간에 이식 가능하며, 새로운 작업에서 더 낮은 비밀보장 비용으로 학습이 가능하게 한다.
• 비밀보장이 더욱 엄격해질수록(DPLTM와 DPSGD 간의 성능 격차가 커짐, 예: ε = 0.2), 비밀보장-유용성 트레이드오프의 향상이 확인된다.
• 고유한 점수 함수는 높은 유용성과 낮은 파라미터 수를 가진 티켓을 효과적으로 식별하며, 이는 랜덤 선택 대비 일관된 성능 향상을 통해 입증되었다.