[논문 리뷰] Efficient Per-Example Gradient Computations in Convolutional Neural Networks

Gaspar Rochette, Andre Manoel외 1명|arXiv (Cornell University)|2019. 12. 12.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 7

한 줄 요약

이 논문은 콘볼루션 신경망(CNN)에서 per-example 기울기 계산을 위한 효율적인 방법을 제안한다. 이 방법은 Goodfellow의 기법을 확장한 체인 룰 기반 접근법(crb)을 사용하며, 작은 네트워크와 얕은 네트워크, 특정 아키텍처 구성에서 기존의 단순 방법과 다중 모델 방법보다 빠른 성능을 보이며, 예측 가능한 기울기 클리핑을 통해 CNN의 차별적 비밀 유지 학습을 더 실용적으로 만들 수 있다.

ABSTRACT

Deep learning frameworks leverage GPUs to perform massively-parallel computations over batches of many training examples efficiently. However, for certain tasks, one may be interested in performing per-example computations, for instance using per-example gradients to evaluate a quantity of interest unique to each example. One notable application comes from the field of differential privacy, where per-example gradients must be norm-bounded in order to limit the impact of each example on the aggregated batch gradient. In this work, we discuss how per-example gradients can be efficiently computed in convolutional neural networks (CNNs). We compare existing strategies by performing a few steps of differentially-private training on CNNs of varying sizes. We also introduce a new strategy for per-example gradient calculation, which is shown to be advantageous depending on the model architecture and how the model is trained. This is a first step in making differentially-private training of CNNs practical.

연구 동기 및 목표

• 차별적 비밀 유지 학습에 필수적인 per-example 기울기 계산을 효율적으로 수행하는 데 도전한다.
• 기존 전략인 단순 방법(배치 크기 1), 다중 모델 방법(각 예제별 복제 모델), 체인 룰 기반 방법(crb)을 비교하여 per-example 기울기 계산 성능을 분석한다.
• PyTorch의 그룹 컨볼루션 기능을 활용해 풀 연결 층에서의 Goodfellow 방법을 콘볼루션 층으로 확장한다.
• 네트워크의 깊이, 너비, 커널 크기, 배치 크기의 변화에 따라 성능을 실증적으로 평가한다.
• 실용적이고 GPU 최적화된 per-example 기울기 계산 솔루션을 제공하여, 개인정보 보호 기반 머신러닝을 지원한다.

제안 방법

• crb 방법은 중간 활성화 및 기울기 훅을 수정하여 역전파를 변형함으로써, 각 예제의 기울기를 계산한다. 이때 체인 룰을 적용해 기울기 계산을 개별 예제로 분해한다.
• 각 예제를 별도의 그룹으로 간주하여, PyTorch의 그룹 컨볼루션 연산을 활용해 per-example 기울기를 효율적으로 계산한다.
• 모델 복제를 피하고, 전방향 계산을 재사용하며, 각 예제에 대한 스케일링을 적용한 기울기 누적 기법을 통해 기울기를 계산한다.
• PyTorch의 nn.Module에 확장으로 구현되어 기존 학습 파ip라인에 원활하게 통합될 수 있다.
• 실행 시간과 GPU 메모리 사용량 측면에서 단순 방법(배치 크기 1)과 다중 모델 방법(각 예제별 공유 파라미터 모델 복수)과의 성능을 비교한다.
• 커스텀 CNN과 실제 아키텍처(AlexNet, VGG16)를 대상으로, 네트워크의 깊이, 채널 비율, 커널 크기, 배치 크기의 변화를 고려해 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 네트워크 아키텍처에서 per-example 기울기 계산에 있어 단순 방법, 다중 모델 방법, 체인 룰 기반 방법(crb) 중 어떤 방법이 가장 효율적인가?
• RQ2 깊이, 너비, 커널 크기, 배치 크기와 같은 아키텍처 요소가 per-example 기울기 계산 방법의 성능에 미치는 영향은 무엇인가?
• RQ3 PyTorch의 내장 기능을 활용해 체인 룰 기반 방법을 풀 연결 층에서 콘볼루션 층으로 효과적으로 확장할 수 있는가?
• RQ4 crb 방법이 다중 모델 방법 대비 속도 및 메모리 효율성 측면에서 어떤 조건에서 우월한가?
• RQ5 실제 CNN 아키텍처인 AlexNet과 VGG16에서 모델 복잡도와 배치 크기가 증가함에 따라 각 방법의 확장성은 어떻게 되는가?

주요 결과

• 채널 비율이 증가하는 얕은 네트워크(2~4층)에서는 커널 크기를 5로 늘일 경우 crb 방법이 다중 모델 방법보다 빠르다.
• 네트워크의 깊이가 증가함에 따라 다중 모델 방법의 성능이 더욱 경쟁력이 생기며, 4층 네트워크에서는 두 방법 간 성능이 유사하다.
• 작은 네트워크인 AlexNet에서는 crb 방법이 단순 방법보다 최대 15배 빠르며, 다중 모델 방법보다 略 빠르며, 배치 크기 16일 때 실행 시간은 각각 2.03초 대비 3.08초이다.
• 더 큰 네트워크인 VGG16에서는 crb 방법이 다중 모델 방법보다 略 느리며, 실행 시간은 각각 5.59초 대비 4.63초로, 모델 크기에 따라 성능가 변화가 나타난다.
• crb 방법은 배치 크기와 함께 조각별 선형 스케일링을 보이며, 더 큰 배치 크기에서 GPU 활용도가 더 높다는 것을 시사한다. 반면 다중 모델 및 단순 방법은 엄밀히 선형 스케일링을 보인다.
• 모델 파라미터를 공유할 경우 crb 방법은 다중 모델 방법보다 더 메모리 효율적이며, 두 방법 모두 유사한 GPU 메모리 사용량을 보이므로 대규모 학습에 실용적이다.