[논문 리뷰] Privacy-preserving Similarity Calculation of Speaker Features Using Fully Homomorphic Encryption

Yogachandran Rahulamathavan|arXiv (Cornell University)|2022. 02. 16.

Chaos-based Image/Signal Encryption인용 수 6

한 줄 요약

이 논문은 CKKS 체계를 사용한 완전한 허밀턴 암호화(FHE)를 활용해 암호화된 음성 특징에서 복호화 없이 실시간 유사도 계산이 가능한 프라이버시 보장형 발화자 검증 시스템을 제안한다. 암호화된 도메인에서 역제곱근을 효율적으로 계산하기 위해 뉴턴-라프슨 기반의 새로운 방법을 도입하여, 1.3초의 검증 지연과 평문 처리 대비 2.8%의 EER 증가를 달성한다.

ABSTRACT

Recent advances in machine learning techniques are enabling Automated Speech Recognition (ASR) more accurate and practical. The evidence of this can be seen in the rising number of smart devices with voice processing capabilities. More and more devices around us are in-built with ASR technology. This poses serious privacy threats as speech contains unique biometric characteristics and personal data. However, the privacy concern can be mitigated if the voice features are processed in the encrypted domain. Within this context, this paper proposes an algorithm to redesign the back-end of the speaker verification system using fully homomorphic encryption techniques. The solution exploits the Cheon-Kim-Kim-Song (CKKS) fully homomorphic encryption scheme to obtain a real-time and non-interactive solution. The proposed solution contains a novel approach based on Newton Raphson method to overcome the limitation of CKKS scheme (i.e., calculating an inverse square-root of an encrypted number). This provides an efficient solution with less multiplicative depths for a negligible loss in accuracy. The proposed algorithm is validated using a well-known speech dataset. The proposed algorithm performs encrypted-domain verification in real-time (with less than 1.3 seconds delay) for a 2.8\\% equal-error-rate loss compared to plain-domain verification.

연구 동기 및 목표

• 음성 생체정보가 서버로 암호화되지 않은 상태로 전송되는 발화자 검증 시스템에서 발생하는 프라이버시 위험을 해결한다.
• 매칭 과정 중 복호화 없이도 안전하고 종단 간 암호화된 발화자 특징 처리를 가능하게 한다.
• 유사도 지표 계산을 위한 역제곱근 계산에서 CKKS FHE의 계산 한계를 극복한다.
• 실제 음성 생체정보 시스템에 구현 가능한 실시간 성능을 달성한다.
• FHE와 확률적 암호화를 통해 추적, 프로파일링 및 비밀키 유출 공격에 대응하는 보안을 확보한다.

제안 방법

• 암호화된 도메인에서 근사 수치를 다룰 수 있는 CKKS 완전한 허밀턴 암호화 체계를 사용해 산술 연산을 수행한다.
• 암호화된 값의 역제곱근을 계산하기 위해 뉴턴-라프슨 반복 기반의 새로운 방법을 도입하여 곱셈 깊이를 감소시킨다.
• 사용자의 개인 키를 사용해 클라이언트 측에서 발화자 임bedding을 암호화한 후 서버로 전송한다.
• 동형 연산을 통해 직접적으로 암호화된 특징 벡터에서 유사도 매칭(예: 코사인 유사도)을 수행한다.
• 다양한 서비스 간 신원 연결 공격을 방지하기 위해 확률적 암호화를 적용한다.
• 기준값 기반의 검증 메커니즘을 사용해 가짜 수락률과 가짜 거부률의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 완전한 허밀턴 암호화를 사용해 암호화된 음성 특징에서 실시간 발화자 검증을 수행할 수 있는가?
• RQ2 CKKS FHE 체계를 어떻게 변형하여 암호화된 도메인에서 역제곱근을 효율적으로 계산할 수 있는가?
• RQ3 종단 간 암호화된 발화자 검증의 성능 오버헤드(지연 및 정확도 손실)는 평문 시스템 대비 얼마나 되는가?
• RQ4 유저 기기, 서버 또는 음성 기록이 유출된 경우에도 제안된 체계는 얼마나 안전한가?
• RQ5 암호화된 생체정보 템플릿이 여러 서비스 간에 공유되더라도 사용자의 프로파일링 및 추적을 방지할 수 있는가?

주요 결과

• 제안된 시스템은 종단 간 암호화된 발화자 검증을 총 1.3초 미만의 지연으로 달성한다.
• 평문 기반 검증 대비 등가오류률(EER)이 단지 2.8% 증가하여 정확도 손실이 극히 미미하다.
• 뉴턴-라프슨 기반의 역제곱근 계산은 곱셈 깊이를 감소시켜 효율적인 동형 평가를 가능하게 한다.
• 가짜 수락률은 악성 공격자가 임의의 또는 패턴이 있는 특징 벡터를 사용하더라도 낮게 유지되어 스푸핑 공격에 강력한 저항성을 보인다.
• 비밀키가 보호되어 있다면, 손상된 사용자 기기, 서버 및 음성 기록에 대비한 보안이 확보된다.
• 확률적 암호화 덕분에 암호화된 템플릿이 여러 서비스 간에 공유되더라도 신원 연결 공격을 방지할 수 있다.