[논문 리뷰] Sphynx: ReLU-Efficient Network Design for Private Inference

Minsu Cho, Zahra Ghodsi외 3명|arXiv (Cornell University)|2021. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 5

한 줄 요약

SPHYNX는 사전 추론을 위한 최소한의 ReLU 연산을 갖는 컨볼루션 셀을 설계하기 위해 마이크로-서치를 사용하는 ReLU 효율적인 신경망 구조 탐색 프레임워크를 제안한다. Gumbel-Softmax 재구성 기법을 통해 셀 아키텍처와 리덕션 셀 배치를 최적화함으로써, SPHYNX는 CIFAR-100에서 기존 방법들을 초월하는 파레토 지배를 달성하고, Tiny-ImageNet과 ImageNet에서도 훨씬 적은 ReLU 수로 효율적인 사전 추론을 가능하게 한다.

ABSTRACT

The emergence of deep learning has been accompanied by privacy concerns surrounding users' data and service providers' models. We focus on private inference (PI), where the goal is to perform inference on a user's data sample using a service provider's model. Existing PI methods for deep networks enable cryptographically secure inference with little drop in functionality; however, they incur severe latency costs, primarily caused by non-linear network operations (such as ReLUs). This paper presents Sphynx, a ReLU-efficient network design method based on micro-search strategies for convolutional cell design. Sphynx achieves Pareto dominance over all existing private inference methods on CIFAR-100. We also design large-scale networks that support cryptographically private inference on Tiny-ImageNet and ImageNet.

연구 동기 및 목표

• 암호화 프rotocol에서 비용이 많이 드는 ReLU 연산으로 인한 사전 추론의 높은 지연을 해결하기 위해.
• 기존에 평문 추론에서 효과적이었던 마이크로-서치 전략이 ReLU 효율적인 사전 추론 네트워크 설계에서 매크로-서치를 능가할 수 있는지 조사하기 위해.
• 최소한의 ReLU 사용을 위해 컨볼루션 셀 아키텍처와 리덕션 셀 배치를 동시에 최적화하는 새로운 서치 스페이스와 후처리 방법을 개발하기 위해.
• SPHYNX를 통해 발견된 ReLU 최적화 네트워크가 기존 사전 추론 방법에 비해 더 높은 정확도와 더 적은 ReLU 수로 초월하는 성능을 보임을 입증하기 위해.

제안 방법

• SPHYNX는 DARTS, ENAS, PC-DARTS와 같은 기존 NAS 방법과 통합 가능한 새로운 ReLU 효율적인 마이크로-서치 스페이스를 도입하여 컨볼루션 셀을 설계한다.
• 아키텍처 탐색을 제약 조건이 있는 최적화 문제로 공식화하여, 사용자가 정의한 ReLU 예산 내에서 ReLU 수를 최소화하고 정확도를 최대화한다.
• 새로운 후처리 단계에서 Gumbel-Softmax 재구성 기법을 사용하여 리덕션 셀의 배치를 최적화하며, 이는 ReLU 제약 조건 하에서 성능에 큰 영향을 미친다.
• 프레임워크는 세 단계로 탐색을 분리한다: (1) 셀 탐색, (2) ReLU 예산 내에서 초기 채널 수와 깊이 선택, (3) 최적의 리덕션 셀 위치 결정.
• 사전 추론을 위해 DELPHI 프로토콜을 활용하며, 선형 레이어에는 덧셈 기반 비밀 공유, ReLU 레이어에는 가짜 회로, 오프라인 연산에는 동형 암호화를 사용한다.
• CIFAR-100, Tiny-ImageNet, ImageNet에서의 분석을 통해 다양한 ReLU 예산과 네트워크 구성에서의 성능를 비교하는 아블레이션 스터디를 수행하여 설계를 검증한다.

실험 결과

연구 질문

• RQ1 컨볼루션 셀 설계를 위한 마이크로-서치 전략이 ReLU 효율적인 사전 추론 네트워크 설계에서 매크로-서치를 능가할 수 있는가?
• RQ2 리덕션 셀의 정밀한 배치가 ReLU 제약 조건 하에서 ReLU 비용을 최소화하고 정확도를 극대화하는 데 핵심적인가?
• RQ3 SPHYNX를 통해 발견된 ReLU 최적화 아키텍처가 기존 사전 추론 방법에 비해 정확도와 지연 면에서 파레토 지배를 달성하는가?
• RQ4 ReLU 균형 조정이 FLOP 균형 조정보다 ReLU 제약 조건 하에서 네트워크 성능 최적화에 더 효과적인가?
• RQ5 SPHYNX로 설계된 셀은 ImageNet과 같은 대규모 데이터셋으로 일반화되어 효율적인 사전 추론을 가능하게 하는가?

주요 결과

• CIFAR-100에서 SPHYNX는 모든 기존 사전 추론 방법을 파레토 지배하며, 더 적은 ReLU 수로 더 높은 정확도를 달성한다.
• Tiny-ImageNet에서 SPHYNX는 614K개의 ReLU를 사용해 60.57%의 테스트 정확도를 기록했으며, 이는 2224K개의 ReLU를 사용하는 ResNet18과 동일한 성능를 내지만 0.25배 이상 적은 ReLU를 사용한다.
• ImageNet에서 SPHYNX로 설계된 네트워크는 전체 지연 범위에서 VGG11과 ResNet18를 엄격히 초월하며, 대규모 데이터셋으로의 확장성을 입증한다.
• 아블레이션 스터디 결과, ReLU 균형 조정이 FLOP 균형 조정보다 우수하며, N=7(더 많은 선형 연산) 셀이 N=5 셀보다 더 뛰어난 성능을 낸다.
• SPHYNX의 수정 없이 표준 NAS 방법(예: DARTS)에서 유래한 셀을 사용할 경우 성능이 크게 열 劣하므로, 제안된 프레임워크의 필요성을 확인한다.
• Gumbel-Softmax 재구성 기법을 통해 가능해진 리덕션 셀의 최적 배치는 핵심적이다. 균일한 간격은 열 劣한 결과를 낳으며, 이는 동적 셀 위치 결정의 중요성을 강조한다.