[논문 리뷰] CryptoNAS: Private Inference on a ReLU Budget

Zahra Ghodsi, Akshaj Kumar Veldanda외 2명|arXiv (Cornell University)|2020. 06. 15.

Cryptography and Data Security참고 문헌 28인용 수 31

한 줄 요약

CryptoNAS는 ReLU 예산을 제약하여 프라이빗 인퍼런스에 최적화된 CNN 아키텍처를 자동으로 탐색하며, ReLU를 프라이빗 인퍼런스의 주요 대기 시간 병목으로 간주하고 이전 PI 방법보다 더 낮은 대기 시간으로 더 높은 정확도를 달성한다.

ABSTRACT

Machine learning as a service has given raise to privacy concerns surrounding clients' data and providers' models and has catalyzed research in private inference (PI): methods to process inferences without disclosing inputs. Recently, researchers have adapted cryptographic techniques to show PI is possible, however all solutions increase inference latency beyond practical limits. This paper makes the observation that existing models are ill-suited for PI and proposes a novel NAS method, named CryptoNAS, for finding and tailoring models to the needs of PI. The key insight is that in PI operator latency cost are non-linear operations (e.g., ReLU) dominate latency, while linear layers become effectively free. We develop the idea of a ReLU budget as a proxy for inference latency and use CryptoNAS to build models that maximize accuracy within a given budget. CryptoNAS improves accuracy by 3.4% and latency by 2.4x over the state-of-the-art.

연구 동기 및 목표

• 암호화 프로토콜을 활용하여 프라이버시를 보장하는 서비스로서의 프라이빗 인퍼런스를 고무한다.
• PI에서 ReLU 연산을 지배적인 대기 시간 병목으로 식별하고 ReLU 예산을 대기 시간의 프록시로 정의한다.
• 고정된 ReLU 예산 하에서 정확도를 최대화하기 위한 NAS 기법을 개발한다.
• ReLU 감소와 ReLU 균형화를 제안하여 ReLU 효율적인 네트워크를 만든다.
• CryptoNAS를 PI에 최적화된 아키텍처를 효율적으로 발견하기 위한 분리된 검색 프레임워크로 만든다.

제안 방법

• 비선형 ReLU가 비용을 지배하는 PI 대기 시간 프록시로 ReLU 예산을 정의한다.
• ReLU 감소 기술을 개발: ReLU 가지치기(ReLU pruning)와 ReLU 셔플링(ReLU shuffling)으로 ReLU 수를 낮춘다.
• 예산 하에서 ReLU 당 모델 용량을 최대화하기 위한 ReLU 균형화를 제안한다.
• 예산 하에서 핵심 네트워크 크기 조정과 skip 배치를 분리하는 동안 skip 연결에 ENAS 매크로-검색을 사용하는 CryptoNAS를 사용한다.
• MiniONN을 확장하여 프라이빗 인퍼런스 내에서 skip 연결을 지원한다.
• 검색을 예산 하의 핵심 네트워크 최적화와 skip-배치 최적화로 분리한다.

실험 결과

연구 질문

• RQ1 비선형 ReLU 연산을 제약하여 신경망 아키텍처를 프라이빗 인퍼런스에 맞게 어떻게 조정할 수 있는가?
• RQ2 PI 모델에서 정확도를 희생하지 않으면서 ReLU 수를 줄이는 효과적인 기술은 무엇인가?
• RQ3 고정된 ReLU 예산에서 분리된 NAS 검색이 높은 정확도 모델을 효율적으로 찾을 수 있는가?
• RQ4 PI 제약하에서 ReLU 균형화가 FLOP 기반 또는 채널 균형 확장과 어떻게 비교되는가?
• RQ5 ReLUs를 PI에 맞게 최소화할 때 skip 연결이 여전히 이로운가?

주요 결과

• CryptoNAS는 CIFAR-10/100에서 최첨단 PI 방법들보다 정확도 향상과 지연 시간 감소를 달성한다.
• ReLU 가지치기는 최소한의 정확도 손실로 ReLU 수를 최대 약 5.8×까지 줄인다.
• 일부 모델에서 ReLU 셔플링은 정확도 손실 없이 ReLU 수를 최대 약 1.9×까지 감소시킨다.
• ReLU 균형화는 ReLU당 모델 용량을 극대화하고 CIFAR-100에서 작은 예산에서 FLOP-균형 기준선 대비 최대 3.75%의 정확도 향상을 얻는다.
• CryptoNAS가 발견한 네트워크는 CIFAR-10 및 CIFAR-100에서 여러 깊이에서 정확도-대기 시간 파레토 프런티어를 따라 이전 PI 방법들보다 성능이 좋다.
• CryptoNAS는 핵심 네트워크 최적화와 skip-배치 검색을 분리하여 실행하므로 예산당 단일 ENAS 실행만으로 파레토 프런트 모델을 생성한다.