[논문 리뷰] On Achieving Privacy-Preserving State-of-the-Art Edge Intelligence

Chabal, Daphnee, Sapra, Dolly외 1명|arXiv (Cornell University)|2023. 02. 10.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 최신 엣지 인텔리전스를 위한 가장 적합한 프라이버시 보장 기법으로 비밀 분할을 주장하며, 특히 지식 정복과 저랭크 근사와 같은 모델 압축 기법이 현대적이고 복잡한 모델인 트랜스포머와 같은 모델에서 비밀 분할 기반 DNN 추론의 통신 및 계산 오버헤드를 줄이는 데 핵심적인 역할을 한다고 밝힌다.

ABSTRACT

Deep Neural Network (DNN) Inference in Edge Computing, often called Edge Intelligence, requires solutions to insure that sensitive data confidentiality and intellectual property are not revealed in the process. Privacy-preserving Edge Intelligence is only emerging, despite the growing prevalence of Edge Computing as a context of Machine-Learning-as-a-Service. Solutions are yet to be applied, and possibly adapted, to state-of-the-art DNNs. This position paper provides an original assessment of the compatibility of existing techniques for privacy-preserving DNN Inference with the characteristics of an Edge Computing setup, highlighting the appropriateness of secret sharing in this context. We then address the future role of model compression methods in the research towards secret sharing on DNNs with state-of-the-art performance.

연구 동기 및 목표

• 현대적이고 계산적으로 복잡한 엣지 AI 워크로드를 위한 맞춤형 프라이버시 보장 DNN 추론 솔루션의 격차를 보완한다.
• 제한된 장치 자원과 실시간 요구사항을 고려할 때 기존 프라이버시 보장 기법이 엣지 컴퓨팅 환경과 얼마나 호환되는지 평가한다.
• 비밀 분할이 탈중앙화되고 신뢰도가 낮은 엣지 아키텍처와 잘 맞아떨어지며 강력한 보안 보장을 제공하므로 엣지 인텔리전스에 가장 적합한 기법임을 규명한다.
• 비밀 분할 기반 DNN 추론의 계산 및 통신 부담을 줄이기 위해 모델 압축 기법이 어떻게 활용될 수 있는지 탐구한다.
• 자신의 특징을 지닌 레이어(예: 자기주의 주의(Self-Attention))를 포함한 신규 DNN 아키텍처인 트랜스포머와 같은 미래의 DNN 아키텍처와 비밀 분할을 통합하는 데 필요한 연구 지침을 제공한다.

제안 방법

• 현대적 최신 모델을 대상으로 엣지 환경에서 DNN 추론을 위한 기존 프라이버시 보장 기법을 평가하며, 확장성과 실제 최신 모델과의 호환성에 중점을 둔다.
• 비밀 분할이 모델 가중치, 입력, 출력을 신뢰할 수 없는 엣지 서버가 존재하더라도 보호할 수 있다는 점에서 가장 실현 가능한 접근법으로 규명한다.
• 특히 다중 당사자 환경에서 비선형 연산의 수와 통신 라운드 수가 많아지는 점을 감안해 엣지 환경에서 비밀 분할의 계산 비용을 분석한다.
• 통신 및 계산 오버헤드를 줄이기 위해 3가지 모델 압축 전략—양자화, 정규화, 지식 정복, 저랭크 근사—를 조사한다.
• 지식 정복과 저랭크 근사가 비밀 분할 기반 추론에 가장 효과적임을 제안한다. 이는 레이어 수와 연산 수를 줄여 계산 및 통신 요구량을 모두 감소시키기 때문이다.
• 자신의 특징을 지닌 복잡한 레이어(예: 자기주의 주의, 순환 유닛 등)를 처리할 수 있는 새로운 비밀 분할 프로토콜의 필요성을 강조한다. 이러한 레이어는 현대적 트랜스포머에서 흔하다.

실험 결과

연구 질문

• RQ1 기존의 프라이버시 보장 DNN 추론 기법은 엣지 컴퓨팅 환경의 계산 및 통신 제약 조건과 얼마나 호환되는가?
• RQ2 기타 암호 기법과 비교해 비밀 분할이 왜 프라이버시 보장 엣지 인텔리전스에 유일하게 적합한가?
• RQ3 모델 압축 기법은 비밀 분할 기반 DNN 추론의 성능 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 비밀 분할 프로토콜을 최신 DNN 모델(예: 자기주의 주의, 트랜스포머 등 신규 레이어를 포함한)에 적응시키는 데 있어 주요 과제는 무엇인가?
• RQ5 양자화, 정규화, 지식 정복, 저랭크 근사 중에서 어떤 모델 압축 방법이 현대 모델에서 안정적이고 효율적인 비밀 분할 기반 추론을 가장 효과적으로 가능하게 하는가?

주요 결과

• 비밀 분할은 탈중앙화되고 신뢰도가 낮은 엣지 환경에 적합하며 강력한 보안 보장을 제공하므로 엣지 인텔리전스를 위한 가장 적합한 프라이버시 보장 기법이다.
• 현재의 비밀 분할 프로토콜은 비선형 연산과 자기주의 주의와 같은 복잡한 레이어로 인해 높은 통신 라운드 수와 계산 오버헤드로 인해 최신 DNN 모델을 다루는 데 어려움을 겪는다.
• 양자화는 통신 부담을 줄이지만 통신 라운드 수를 줄이지 못하므로 고지연 엣지 환경에서는 효과가 제한적이다.
• 정규화는 비밀 분할 오버헤드를 줄이는 데 제한된 기여를 하며, 통신 라운드 수나 비선형 연산의 복잡도를 감소시키지 못한다.
• 지식 정복과 저랭크 근사는 레이어 수와 연산 수를 줄여 계산 및 통신 요구량을 모두 감소시키므로 더 유망한 기법이다.
• BERT를 DistilBERT나 Ladabert로 압축한 최근의 성공 사례는 압축된 모델이 높은 정확도를 유지하면서도 비밀 분할 기반 추론에 더 적합하다는 점을 보여준다.