[논문 리뷰] MPCFormer: fast, performant and private Transformer inference with MPC

Dacheng Li, Rulin Shao외 4명|arXiv (Cornell University)|2022. 11. 02.

Cryptography and Data Security인용 수 15

한 줄 요약

MPCFormer은 MPC 우아한 함수 근사와 지식 증류를 결합하여 보안 다중 당사자 계산(MPC)을 사용해 빠르고 비밀 보장되며 고성능의 트랜스포머 추론을 가능하게 한다. GLUE에서 BERT_BASE 성능의 97%를 유지하면서 BERT_BASE 및 BERT_LARGE 대비 최대 5.9배 빠른 속도 향상을 이룩했으며, 다양한 모델과 데이터셋에서 최소한의 정확도 손실을 기록한다.

ABSTRACT

Enabling private inference is crucial for many cloud inference services that are based on Transformer models. However, existing private inference solutions can increase the inference latency by more than 60x or significantly compromise the inference quality. In this paper, we design the framework MPCFORMER as a practical solution, using Secure Multi-Party Computation (MPC) and Knowledge Distillation (KD). Through extensive evaluations, we show that MPCFORMER significantly speeds up Transformer inference in MPC settings while achieving similar ML performance to the input model. On the IMDb dataset, it achieves similar performance to BERTBASE, while being 5.3x faster. On the GLUE benchmark, it achieves 97% performance of BERTBASE with a 2.2x speedup. MPCFORMER remains effective with different trained Transformer weights such as ROBERTABASE and larger models including BERTLarge. Code is available at https://github.com/MccRee177/MPCFormer.

연구 동기 및 목표

• 현재 60배 이상의 속도 저하를 유발하는 MPC를 사용한 비밀 보장 트랜스포머 추론의 높은 지연 문제를 해결한다.
• 훈련을 방해하고 대규모 최종 데이터셋이 필요한 MPC 우아한 근사로 인한 성능 저하 문제를 해결한다.
• 모델 정확도를 희생시키지 않고 대규모 트랜스포머 모델을 위한 실용적인 비밀 보장 추론 서비스 배포를 가능하게 한다.
• 다양한 사전 훈련된 모델(예: BERT_BASE, RoBERTa_BASE, BERT_LARGE)과 MPC 우아한 근사와 호환되는 프레임워크를 설계한다.
• 효율적인 지식 증류를 통해 MPC 환경에서 낮은 추론 지연과 높은 기계 학습 성능을 동시에 달성한다.

제안 방법

• 사전 훈련된 트랜스포머의 버티브 함수를 MPC 우아한 근사(예: Quad+2ReLU, 새로운 빠른 소프트맥스 근사)로 대체하여 MPC 추론 속도를 향상시킨다.
• 기존의 교사 모델에서 학생 모델로 지식을 전이하기 위해 지식 증류(KD)를 적용한다. 이때 중간 은닉 표현을 활용한다.
• 학생 모델 훈련 중에 교사 모델의 로짓과 중간 특징을 지도 신호로 사용하여, 작은 최종 데이터셋에서도 효과적인 증류를 가능하게 한다.
• 드롭아웃 및 표준 크로스 엔트로피 손실 외에 증류 손실을 조합하여 학생 모델을 훈련하며, 임bedding 및 어텐션 레이어에 대해 최적화된 초모수를 설정한다.
• 결과로 나온 증류된 학생 모델을 MPC 엔진(예: CrypTen)에 배포하여 종단 간 비밀 보장 추론을 수행한다.
• 대규모 최종 데이터셋에 의존도를 줄이기 위해 데이터 효율적인 훈련 전략으로 증류 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 MPC 우아한 근사를 트랜스포머에 효과적으로 적용할 수 있을까? 이로 인해 비밀 보장 추론에서 심각한 성능 저하가 발생하는가?
• RQ2 MPC 제약 조건 하에서 근사된 트랜스포머를 훈련할 때 지식 증류가 성능 손실를 얼마나 효과적으로 완화할 수 있는가?
• RQ3 MPCFormer은 BERT_LARGE와 같은 다양한 모델 크기에서 어떻게 스케일링되며, 증류 없이 비교한 기준 모델 대비 어떻게 성능을 내는가?
• RQ4 MPC 환경에서 증류를 통해 높은 성능을 달성하기 위해 최소한의 최종 데이터가 필요한가?
• RQ5 교사 모델의 가중치로 학생 모델를 초기화하면, 특히 작은 데이터셋에서 훈련 안정성과 최종 성능 향상에 기여하는가?

주요 결과

• IMDb 데이터셋에서 MPCFormer은 BERT_BASE를 사용해 95.0%의 정확도를 기록했으며, 원본 모델과 유사한 성능을 유지하면서 5.3배의 속도 향상을 달성했다.
• IMDb에서 BERT_LARGE를 사용할 경우 MPCFormer은 94.5%의 정확도를 기록했으며, 증류 없이 비교한 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• GLUE 벤치마크에서 MPCFormer은 BERT_BASE 평균 점수의 97%를 기록했으며(84.6 대 85.3), 강력한 일반화 능력을 입증했다.
• RoBERTa_BASE를 포함한 다양한 사전 훈련된 모델에서도 MPCFormer은 높은 성능를 유지했으며, 다양한 아키텍처와의 호환성을 입증했다.
• 지식 증류 덕분에 작은 데이터셋에서도 효과적인 훈련이 가능하다: 중간 크기의 데이터셋(예: QNLI)의 2%와 작은 데이터셋(예: MRPC)의 5%만으로도 높은 성능를 달성할 수 있다.
• 교사 모델의 가중치로 학생 모델를 초기화하면 무작위 초기화보다 더 뛰어난 성능를 기록했으며, 특히 작은 최종 데이터셋에서 두드러진 성능 향상을 보였다.