[논문 리뷰] NASS: Optimizing Secure Inference via Neural Architecture Search

Song Bian, Weiwen Jiang외 3명|arXiv (Cornell University)|2020. 01. 30.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

NASS는 강화학습 기반 검색 엔진 내에서 암호화 원리를 조정 가능한 설계 요소로 모델링함으로써, 신경망 아키텍처와 동형 암호화 파ameters를 동시에 최적화하는 신경망 구조 탐색(NAS) 프레임워크를 제안한다. 이로 인해 CIFAR-10에서 84.6%의 정확도를 달성했으며, 이는 이전 작업 대비 2배 빠른 추론 속도와 1.9배 적은 대역폭을 기록했다.

ABSTRACT

Due to increasing privacy concerns, neural network (NN) based secure inference (SI) schemes that simultaneously hide the client inputs and server models attract major research interests. While existing works focused on developing secure protocols for NN-based SI, in this work, we take a different approach. We propose NASS, an integrated framework to search for tailored NN architectures designed specifically for SI. In particular, we propose to model cryptographic protocols as design elements with associated reward functions. The characterized models are then adopted in a joint optimization with predicted hyperparameters in identifying the best NN architectures that balance prediction accuracy and execution efficiency. In the experiment, it is demonstrated that we can achieve the best of both worlds by using NASS, where the prediction accuracy can be improved from 81.6% to 84.6%, while the inference runtime is reduced by 2x and communication bandwidth by 1.9x on the CIFAR-10 dataset.

연구 동기 및 목표

• 고정된 수작업 설계된 신경망 아키텍처로 인해 발생하는 안전한 추론의 성능 저하 문제를 해결하기 위해.
• 암호화 프rotocol 파ameters(예: 동형 암호화)를 신경망 아키텍처 탐색의 첫 번째 설계 요소로 통합하기 위해.
• 안전한 추론 워크로드에서 예측 정확도와 실행 효율성(추론 시간, 대역폭)을 동시에 최적화하기 위해.
• 伝통적인 최적화를 방해하는 암호화 원리의 비선형 성능 특성에 대처하기 위해.
• 암호화 제약 조건을 고려한 맞춤형 아키텍처 설계를 탐색함으로써 안전한 추론의 파레토 최적 경계를 확장하기 위해.

제안 방법

• 계산 및 통신 비용 프ofile를 갖춘 구성 가능한 설계 요소로 암호화 원리(예: 패킹된 동형 암호화(PAHE) 및 가라지드 서킷)를 모델링한다.
• 예측 정확도와 효율성 메트릭(추론 시간, 대역폭)을 통합한 보상 함수를 정의하여 검색을 이끌어낸다.
• 강화학습 기반 NAS 엔진을 사용하여 아키텍처 공간을 탐색하고, 보상 함수의 피드백에 기반해 새로운 신경망 아키텍처를 생성하고 평가한다.
• 정밀도 수준, 필터 차원, 레이어 구성이 안전한 추론 성능에 미치는 영향을 체계적으로 분석한다.
• HE 파ameter 튜닝(예: LWE 파ameter)을 검색 공간에 통합하여 아키텍처 선택과 함께 공동 최적화할 수 있도록 하며, 이를 하이퍼파라미터로 간주한다.
• 합성곱 레이어, ReLU 활성화 함수, 풀링 레이어, 완전 연결 레이어를 포함하는 검색 공간을 구성하며, 커널 크기, 필터 수, 정밀도 요소를 가변적으로 설정한다.

실험 결과

연구 질문

• RQ1 복잡한 암호화 원리를 포함하는 안전한 추론 워크로드에 대해 신경망 아키텍처 탐색이 효과적으로 적용될 수 있는가?
• RQ2 동형 암호화의 비선형 성능 특성이 안전한 추론에서 정확도와 효율성 간의 상호 보완적 관계에 어떤 영향을 미치는가?
• RQ3 신경망 아키텍처와 암호화 파ameter를 함께 최적화하면 수작업 설계나 별도의 파am터 튜닝보다 더 나은 파레토 최적 해를 도출할 수 있는가?
• RQ4 어느 정도까지 아키텍처 탐색은 정확도와 효율성을 동시에 향상시킬 수 있으며, 이는 상호 보완적 트레이드오프를 요구하지 않는가?
• RQ5 암호화 제약 조건 하에서 안전한 추론 모델을 위한 아키텍처 패턴은 어떻게 도출되는가?

주요 결과

• NASS는 CIFAR-10에서 84.6%의 예측 정확도를 달성했으며, 이는 이전 최고 기록인 81.6%보다 3%p 향상된 성과이다.
• 최적의 NASS 아키텍처는 기준값인 Gazelle 아키텍처 대비 추론 시간을 2배로 단축(8.0초 → 1.62초)하고 통신 대역폭을 1.9배 줄였다(1.815GB → 977MB).
• NASS가 생성한 아키텍처는 정확도를 유지하면서도 기존 6개에서 5개의 합성곱 레이어로 줄여 구조적 효율성 향상을 입증했다.
• CIFAR-Per 아키텍처는 정확도를 82.6%로 약간 낮추고도 추론 시간을 5.1초로 단축하고 대역폭을 582MB로 줄여, 정확도를 유연하게 조정할 수 있음을 보여주었다.
• 논문의 파레토 최적 경계 플롯을 통해 NASS 프레임워크가 안전한 추론의 매우 비선형적인 성능 공간을 성공적으로 학습했음을 입증했다.
• 정확도 85%를 달성하는 최근의 방법은 추론에 30초 이상 소요되나, NASS는 동일한 정확도 수준에서 4배 빠른 성능을 기록하며 프레임워크의 우수성을 입증했다.