[논문 리뷰] Selective Network Linearization for Efficient Private Inference

Minsu Cho, Ameya Joshi외 3명|arXiv (Cornell University)|2022. 02. 04.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 선택적 네트워크 선형화(SNL)를 제안한다. SNL은 기울기 기반 방법으로, 비공개 추론에서 지연을 줄이기 위해 ReLU 활성화를 선택적으로 선형 단위로 대체한다. 정확도를 유지하면서도 성능을 높인다. 학습 과정에서 가중치가 조절되는 이중 스케일 파라메트릭 ReLU(pReLUs)와 ℓ1 페널티를 적용하여 흐트러짐을 유도함으로써, SNL은 CIFAR-100 벤치마크에서 최신 기술 대비 최대 2.2배 빠른 지연 또는 4.25% 높은 정확도를 달성한다.

ABSTRACT

Private inference (PI) enables inference directly on cryptographically secure data.While promising to address many privacy issues, it has seen limited use due to extreme runtimes. Unlike plaintext inference, where latency is dominated by FLOPs, in PI non-linear functions (namely ReLU) are the bottleneck. Thus, practical PI demands novel ReLU-aware optimizations. To reduce PI latency we propose a gradient-based algorithm that selectively linearizes ReLUs while maintaining prediction accuracy. We evaluate our algorithm on several standard PI benchmarks. The results demonstrate up to $4.25\%$ more accuracy (iso-ReLU count at 50K) or $2.2 imes$ less latency (iso-accuracy at 70\%) than the current state of the art and advance the Pareto frontier across the latency-accuracy space. To complement empirical results, we present a "no free lunch" theorem that sheds light on how and when network linearization is possible while maintaining prediction accuracy. Public code is available at \url{https://github.com/NYU-DICE-Lab/selective_network_linearization}.

연구 동기 및 목표

• 비공개 추론에서 비선형 ReLU 연산으로 인한 런타임 병목 현상을 줄이기 위해.
• 수동적인 아키텍처 탐색을 피할 수 있는 자동화되고 세밀한 ReLU 감소 방법을 개발하기 위해.
• 딥 네트워크에서 ReLU 연산 수를 최소화하면서도 높은 모델 정확도를 유지하기 위해.
• 선택적 선형화의 기억 용량 트레이드오프에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 각 ReLU 뉴런에 대해 학습 가능한 이중 스케일 파라메트릭 ReLU(pReLUs)를 사용하며, 기울기 파rameter는 0 또는 1로 설정된다.
• 기울기 계수에 ℓ1 페널티를 적용하여 흐트러짐을 유도하고, 학습 중에 이중 제약 조건을 강제한다.
• ℓ1 페널티의 스케줄된 감소를 통해 정확도와 ReLU 감소 간 균형을 맞춘다.
• 추가적인 검색이나 아키텍처 재학습 없이 표준 백프로파게이션을 수행한다.
• 각 특징 맵 수준에서 어떤 ReLU가 선형화될지에 대한 세밀한 제어를 가능하게 한다.
• 네트워크 깊이나 너비를 변경하지 않고도 기존 딥 네트워크(예: ResNets 포함)에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 기울기 기반 방법이 기존 ReLU 감소 기법보다 비공개 추론에서 더 나은 지연-정확도 트레이드오프를 달성할 수 있는가?
• RQ2 선택적 선형화는 프루닝과 비교해 깊이 있는 네트워크의 기억 용량에 어떤 영향을 미치는가?
• RQ3 ReLU 예산 내에서 네트워크 용량을 극대화하기 위해 레이어 간 ReLU 유지 비율을 최적화할 수 있는가?
• RQ4 단일 학습 절차가 다단계 히우리스틱 ReLU 제거 및 얇게 하기 과정을 대체할 수 있는가?
• RQ5 예측 정확도를 훼손하지 않으면서 네트워크 선형화가 가능한 조건은 무엇인가?

주요 결과

• SNL는 CIFAR-100에서 70% 테스트 정확도일 때 최신 기술 대비 2.2배 빠른 지연을 달성한다.
• 고정된 ReLU 수 50,000일 때, 이전 연구 대비 최대 4.25% 높은 테스트 정확도를 확보한다.
• 여러 벤치마크에서 지연-정확도 트레이드오프 공간의 파레토 최적 경계를 향상시킨다.
• 이론적 분석 결과, α1 또는 α2 < 1일 경우 선택적 선형화된 네트워크는 전체 ReLU 네트워크보다 엄밀히 낮은 기억 용량을 가진다.
• 최적의 ReLU 유지 비율은 레이어 너비에 반비례하며, 더 넓은 첫 번째 레이어에서 더 많은 뉴런이 선형화된다.
• ReLU 예산이 10,000인 3층 네트워크에서 d1=50,000 및 d2=5,000일 경우, SNL의 최적 구성은 첫 번째 레이어에서 42,500개, 두 번째 레이어에서 7,500개의 뉴런을 선형화한다.