[논문 리뷰] Efficient ML Models for Practical Secure Inference

Vinod Ganesan, Anwesh Bhattacharya외 4명|arXiv (Cornell University)|2022. 08. 26.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 2자리 암호화 계산(2PC)을 위한 모델 아키텍처와 계산을 최적화하여 딥러닝 모델에 대한 안전한 추론을 실용적으로 만들 프레임워크를 제안한다. 암호 수용성 있는 X-연산자, 효율적인 컨volution 분해, Winograd 알고리즘 통합을 통해 흉부 X-ray 진단을 위한 DenseNet-121에서 통신 비용을 최대 30배 감소시켰으며, 정확도 손실은 최소한(ROC-AUC 손실 ≤0.02)으로 유지하였다.

ABSTRACT

ML-as-a-service continues to grow, and so does the need for very strong privacy guarantees. Secure inference has emerged as a potential solution, wherein cryptographic primitives allow inference without revealing users' inputs to a model provider or model's weights to a user. For instance, the model provider could be a diagnostics company that has trained a state-of-the-art DenseNet-121 model for interpreting a chest X-ray and the user could be a patient at a hospital. While secure inference is in principle feasible for this setting, there are no existing techniques that make it practical at scale. The CrypTFlow2 framework provides a potential solution with its ability to automatically and correctly translate clear-text inference to secure inference for arbitrary models. However, the resultant secure inference from CrypTFlow2 is impractically expensive: Almost 3TB of communication is required to interpret a single X-ray on DenseNet-121. In this paper, we address this outstanding challenge of inefficiency of secure inference with three contributions. First, we show that the primary bottlenecks in secure inference are large linear layers which can be optimized with the choice of network backbone and the use of operators developed for efficient clear-text inference. This finding and emphasis deviates from many recent works which focus on optimizing non-linear activation layers when performing secure inference of smaller networks. Second, based on analysis of a bottle-necked convolution layer, we design a X-operator which is a more efficient drop-in replacement. Third, we show that the fast Winograd convolution algorithm further improves efficiency of secure inference. In combination, these three optimizations prove to be highly effective for the problem of X-ray interpretation trained on the CheXpert dataset.

연구 동기 및 목표

• 대규모 딥러닝 모델에 대한 안전한 추론에서 비현실적인 통신 오버헤드 문제를 해결하기 위해.
• 특히 큰 선형 레이어와 컨볼루션 연산에서 주요 성능 저하 요인을 규명하고 최적화하기 위해.
• 안전한 2PC를 활용해 의료와 같은 고위험 분야에서 실용적인 개인정보 보호 기반 머신러닝 추론을 가능하게 하기 위해.
• CrypTFlow2 프레임워크에 효율적이고 안전한 친화적인 연산자와 알고리즘을 통합하여 종단 간 안전한 추론 컴파일을 실현하기 위해.
• 모델 정확도나 정확성 손실 없이도 상당한 효율성 향상이 달성 가능함을 입증하기 위해.

제안 방법

• 표준 컨볼루션 레이어의 안전하고 효율적인 대체로 사용 가능한 X-연산자를 설계 및 구현하였으며, 분해, 셔플링 연산, 덧셈 중심 계산을 통합하였다.
• 밀도 있는 컨볼루션을 깊이 분리형 컨볼루션으로 변환하기 위해 분해 기법을 적용하여 평균 4.07배의 통신 감소를 달성하였다.
• CrypTFlow2의 Athos 컴파일러 프론트엔드에 빠른 Winograd 컨볼루션 알고리즘을 통합하여 밀도 있는 컨볼루션의 가속화를 달성하였으며, 정확도 손실 없이 수행하였다.
• 분해된 컨볼루션에서 채널 기반 변환 최적화를 위해 셔플링 연산을 사용하여 평균 1.1배의 통신 감소를 달성하였다.
• X-연산자와 Winograd 알고리즘, 기타 최적화 기법을 조합하여 다양한 모델 아키텍처에서 누적된 효율성 향상을 달성하였다.
• 모든 최적화 기법을 CrypTFlow2에서 종단 간 평가하여, 클리어텍스트 추론과 안전한 추론의 비트 단위 동일성(비트-와이즈 동치성)을 보장하였다.

실험 결과

연구 질문

• RQ1 DenseNet-121과 같은 대규모 모델에 대한 안전한 추론에서 주요 통신 병목 현상은 무엇인가?
• RQ2 효율적인 클리어텍스트 추론 연산자들을 안전한 추론 비용을 줄이기 위해 정확도 손실 없이 적응시킬 수 있는가?
• RQ3 X-연산자가 통신 비용과 지연 시간 측면에서 표준 컨볼루션을 대체하는 데 얼마나 효과적인가?
• RQ4 Winograd 알고리즘이 밀도 있는 컨볼루션에 대한 안전한 추론에서 통신 비용을 얼마나 줄일 수 있는가?
• RQ5 아키텍처 선택, 맞춤형 연산자, 알고리즘 최적화의 조합이 의료 영상 분석을 위한 실용적인 안전한 추론을 가능하게 할 수 있는가?

주요 결과

• X-연산자는 기준 DenseNet-121 대비 통신 비용을 최대 30.8배 감소시켰으며(ResNet-18: 19.1×, MobileNetV3: 30.15×), ROC-AUC 손실은 0.02에 불과하였다.
• 분해된 컨볼루션은 평균 4.07배의 통신 감소를 달성하였으며, ResNet-18에서는 R′F 대비 12.41배의 감소를 기록하였다.
• Winograd 알고리즘은 밀도 있는 컨볼루션에서 평균 2.12배의 통신 감소를 달성하였으며, 정확도 손실 없이 수행되었다.
• 셔플링 연산은 분해된 컨볼루션 대비 평균 1.1배의 통신 감소를 기여하여 미미한 성능 향상을 이룩하였다.
• X-연산자와 Winograd의 조합은 기준 DenseNet-121 대비 통신 비용을 30.8배 감소시켰으며(표기: SXW), ROC-AUC 손실은 0.02에 머물렀다.
• 모든 최적화된 모델들은 클리어텍스트 추론과 비트 단위 동치성을 유지하여 정확성과 강건성을 보장하였다.