[논문 리뷰] Minimal Model Structure Analysis for Input Reconstruction in Federated Learning

Qian Jia, Hiba Nassar외 1명|arXiv (Cornell University)|2020. 10. 29.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 분산 학습에서 입력 복원에 대한 이론적 분석을 제공하며, 깊이에 관계없이 완전히 연결된 네트워크에 하나의 은닉 유닛이 있는 경우, 오직 기울기 정보만으로도 단일 입력을 정확하게 복원할 수 있음을 보여준다. 이는 은닉 유닛 수가 배치 크기보다 많거나 컨볼루션 네트워크에서 충분한 커널 수가 있는 등의 최소 구조적 요구 조건을 설정하며, 배치 복원을 안정화하기 위한 정규화 기법을 도입하여 MNIST, fMRI, ImageNet에서 거의 손실이 없는 결과를 도출한다.

ABSTRACT

\ac{fl} proposed a distributed \ac{ml} framework where every distributed worker owns a complete copy of global model and their own data. The training is occurred locally, which assures no direct transmission of training data. However, the recent work \citep{zhu2019deep} demonstrated that input data from a neural network may be reconstructed only using knowledge of gradients of that network, which completely breached the promise of \ac{fl} and sabotaged the user privacy. In this work, we aim to further explore the theoretical limits of reconstruction, speedup and stabilize the reconstruction procedure. We show that a single input may be reconstructed with the analytical form, regardless of network depth using a fully-connected neural network with one hidden node. Then we generalize this result to a gradient averaged over batches of size $B$. In this case, the full batch can be reconstructed if the number of hidden units exceeds $B$. For a \ac{cnn}, the number of required kernels in convolutional layers is decided by multiple factors, e.g., padding, kernel and stride size, etc. We require the number of kernels $h\geq (\frac{d}{d^{\prime}})^2C$, where we define $d$ as input width, $d^{\prime}$ as output width after convolutional layer, and $C$ as channel number of input. We validate our observation and demonstrate the improvements using bio-medical (fMRI, \ac{wbc}) and benchmark data (MNIST, Kuzushiji-MNIST, CIFAR100, ImageNet and face images).

연구 동기 및 목표

• 오직 기울기 정보만을 사용하여 분산 학습에서 입력 복원의 이론적 한계를 탐구한다.
• 정확하거나 고해상도 입력 복원을 위한 최소한의 아키텍처 요구 조건(은닉 유닛 수 또는 커널 수 등)을 규명한다.
• 반복 최적화 과정에 정규화 기법을 도입하여, 특히 큰 배치 크기에서의 복원 안정성과 품질을 향상시킨다.
• MNIST, fMRI, WBC, CIFAR100, ImageNet과 같은 실제 데이터셋에서 이론적 결과를 검증한다.
• 의료 진단과 같은 민감한 응용 분야에서 개인정보 보호를 위한 모델 아키텍처 선택을 지도한다.

제안 방법

• 기울기에서 유도된 선형 시스템을 해결하여 입력을 복원하며, 입력 복원을 선형 방정식의 집합으로 간주한다.
• 은닉 유닛이 하나인 MLP의 경우, 닫힌 형태의 해석적 해를 유도한다: $ x_i = \frac{\partial \ell}{\partial w_{1i}^1} / \frac{\partial \ell}{\partial b_1^1} $, 이는 네트워크 깊이에 관계없이 손실 없이 복원 가능함을 보여준다.
• 은닉 유닛 수가 배치 크기 $ B $ 를 초과해야 함을 보여주며, 배치 복원의 일반화를 통해 전체 배치 복원이 가능함을 입증한다.
• CNN의 경우, 입력 너비 $ d $, 컨볼루션 후 출력 너비 $ d' $, 입력 채널 수 $ C $ 를 고려할 때, 커널 수 $ h \geq \left(\frac{d}{d'}\right)^2 C $ 를 만족해야 함을 유도한다.
• 특히 고차원 입력에서의 수치적 안정성과 복원 정확도를 향상시키기 위해 반복 최적화 과정에 직교성 정규화 기법을 제안한다.
• 초기 무작위 추측을 기반으로 기울기 기반 반복 최적화를 수행하며, 예측된 기울기와 진짜 기울기 간의 L2 거리 최소화를 목표로 한다.

실험 결과

연구 질문

• RQ1 완전히 연결된 신경망에서 기울기 정보만으로 단일 입력을 정확히 복원하기 위한 최소한의 모델 구조는 무엇인가?
• RQ2 배치 크기가 분산 학습에서 입력 복원의 가능성과 품질에 어떤 영향을 미치는가?
• RQ3 컨볼루션 신경망에서 입력 복원을 가능하게 하거나 방해하는 아키텍처적 제약 조건은 무엇인가?
• RQ4 정규화 기법이 배치 복원 시나리오에서 수치적 안정성과 복원 품질을 향상시킬 수 있는가?
• RQ5 다양한 데이터셋에서 최소 구조적 요구 조건에 대한 이론적 예측이 실제로 얼마나 정확하게 유지되는가?

주요 결과

• 은닉 유닛이 하나인 MLP에서 오직 기울기 정보만으로도 네트워크 깊이에 관계없이 단일 입력을 정확하게 복원할 수 있으며, 이는 닫힌 형태의 해석적 해를 통해 가능하다.
• MLP에서의 배치 복원의 경우, 은닉 유닛 수가 배치 크기 $ B $ 를 초과해야 하며, $ B=4 $ 일 때 은닉 유닛 수가 $ B $ 와 같거나 초과하면 전체 복원이 달성된다.
• 직교성 정규화 기법을 추가함으로써 배치 복원 품질이 크게 향상된다: 정규화 없이 L1 오차가 0.21이었던 것을 12개의 커널을 사용할 경우 0.00019로 감소시킨다.
• CNN의 경우, 커널 수가 증가할수록 복원 품질이 단조롭게 향상되며, 12개의 커널을 사용할 경우 L1 오차는 0.04로 감소하고, 11개의 커널일 경우 0.042로 유지되어 이론적 하한선을 확인한다.
• 이 방법은 ImageNet과 WBC 데이터셋에서 거의 손실이 없는 복원을 달성하며, 픽셀당 평균 L1 오차가 $ 1 \times 10^{-8} $ 이하로 유지되어 실질적인 정확한 복원을 입증한다.
• 이론적 조건은 큰 배치 크기(예: $ B=100 $)에서도 유지되며, 정규화 기법은 고차원 최적화에서 안정성과 정확도를 유지한다.