[논문 리뷰] Private Speech Classification with Secure Multiparty Computation

Kyle Bittner, Martine De Cock외 1명|arXiv (Cornell University)|2020. 07. 01.

Speech and Audio Processing참고 문헌 46인용 수 4

한 줄 요약

이 논문은 보안 다자간 계산(MPC)을 사용하여 음성 분류를 위한 첫 번째 프라이버시 보장 기반 딥러닝 접근법을 제시한다. 이로써 앨리스는 자신의 음성 신호를 보낸 후 보낸 모델의 암호화된 파라미터를 통해 보낸다. 반정적 환경에서 3.5초짜리 오디오 클립은 0.3초 이내에 분류되며 정확도가 완전히 유지되어 실시간 응용 분야(예: 음성 보조 기능)에 대한 실현 가능성을 입증한다.

ABSTRACT

Deep learning in audio signal processing, such as human voice audio signal classification, is a rich application area of machine learning. Legitimate use cases include voice authentication, gunfire detection, and emotion recognition. While there are clear advantages to automated human speech classification, application developers can gain knowledge beyond the professed scope from unprotected audio signal processing. In this paper we propose the first privacy-preserving solution for deep learning-based audio classification that is provably secure. Our approach, which is based on Secure Multiparty Computation, allows to classify a speech signal of one party (Alice) with a deep neural network of another party (Bob) without Bob ever seeing Alice's speech signal in an unencrypted manner. As threat models, we consider both passive security, i.e. with semi-honest parties who follow the instructions of the cryptographic protocols, as well as active security, i.e. with malicious parties who deviate from the protocols. We evaluate the efficiency-security-accuracy trade-off of the proposed solution in a use case for privacy-preserving emotion detection from speech with a convolutional neural network. In the semi-honest case we can classify a speech signal in under 0.3 sec; in the malicious case it takes $\sim$1.6 sec. In both cases there is no leakage of information, and we achieve classification accuracies that are the same as when computations are done on unencrypted data.

연구 동기 및 목표

• 딥러닝 기반 음성 분류에서 기밀성 유출 문제를 해결하기 위해, 비보안 처리로 인해 감정, 성별, 건강 상태와 같은 민감한 개인 정보가 노출될 수 있음을 고려한다.
• 원천 오디오나 모델 가중치를 드러내지 않고 제3자의 딥 네URAL 네트워크를 사용하여 음성 신호의 보안적, 프라이버시 보장 추론을 가능하게 한다.
• 수동 및 능동적 위협 모델 모두에서 MPC 기반 음성 분류의 효율성, 보안성, 정확도 간의 상호 교환 관계를 평가한다.
• MPC가 실시간 고정확도 음성 분류를 지원할 수 있으며, 디지털 어시스턴트와 같은 생산 시스템에 적합함을 입증한다.

제안 방법

• 프로토콜은 보안 다자간 계산(MPC)을 사용하여 앨리스와 보브가 함께 1D 컨volutional 네ural 네트워크(CNN)의 출력을 앨리스의 암호화된 음성 신호에서 계산할 수 있도록 한다.
• 모든 계산은 MP-SPDZ 프레임워크를 사용하여 비밀 공유된 값 위에서 수행되며, 이로써 추론 중에 어느 당사자도 원천 입력이나 모델 가중치를 알 수 없도록 보장한다.
• 2PC(이중 계산) 및 3PC(삼중 계산) 환경을 모두 지원하며, 3PC는 더 높은 성능과 더 강력한 보안 보장을 제공한다.
• 계산 오버헤드를 줄이기 위해 아키텍처 선택과 정밀도 감소를 통해 MPC 효율성에 최적화된 CNN 아키텍처를 설계한다.
• 능동적 보안을 위해, 각 당사자의 악성 행동을 탐지하고 방지할 수 있는 검증 절차를 포함하여 악성 행동 조건에서도 정확성을 유지한다.
• 프로토콜은 최종 클래스 레이블(예: 감정 클래스)만 공개하며, 이는 합의에 도달한 후에만 공유되어 종단 간 프라이버시를 보장한다.

실험 결과

연구 질문

• RQ1 MPC는 제3자의 딥러닝 모델을 사용하여 음성 신호의 프라이버시 보장 추론을 가능하게 할 수 있는가? 이때 오디오나 모델 파rameter가 드러나지 않는다.
• RQ2 MPC 기반 음성 분류의 런타임 및 정확도 측면에서 비암호화된 추론 대비 성능 오버헤드는 어떠한가?
• RQ3 수동(반정적) 및 능동적(악성) 보안 모델 모두에서 시스템 성능은 어떠한가?
• RQ4 MPC의 계산 비용을 감안할 때 실시간 추론이 가능할 수 있는가? 실생활 응용(예: 음성 보조 기능)에 적합한가?

주요 결과

• 반정적 위협 모델에서 3.5초짜리 음성 신호는 0.26초 내에 완전한 정확도로 분류되며, 비암호화된 추론과 동일한 성능을 보인다.
• 낮은 정확도 설정에서도 분류가 0.15초 내에 완료되어 MPC 최적화 환경에서 매우 높은 효율성을 입증한다.
• 악성 위협 모델에서는 분류에 약 1.6초가 소요되며, 정보 泄露 없이도 완전한 정확도를 유지한다.
• 시스템은 비암호화된 추론과 동일한 분류 정확도를 유지하여 프라이버시 보장이 성능에 영향을 주지 않음을 입증한다.
• 3명의 반정적 서버로 구성된 3PC 환경은 2PC에 비해 런타임을 줄이며, 특히 능동적 보안 조건에서 더 효율적인 암호화 연산을 제공한다.
• 결과적으로 MPC 기반 프라이버시 보장 음성 분류가 효율성 최적화를 통해 실시간 응용 분야(예: 디지털 어시스턴트)에 실현 가능하다는 것이 입증되었다.