[논문 리뷰] Deep Quaternion Features for Privacy Protection

Hao Zhang, Yi-Ting Chen외 4명|arXiv (Cornell University)|2020. 03. 18.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 9

한 줄 요약

이 논문은 민감한 정보를 허수 특징의 무작위 위상에 인코딩하여, 공격자가 모델 가중치와 중간 특징에 접근하더라도 입력을 재구성하는 것이 불가능하도록 하는 허수 신경망(QNN)을 제안한다. 이 방법은 정확도 저하를 최소화하고 동형 암호화보다 훨씬 낮은 계산 비용으로 강력한 프라이버시를 달성하며, 복소수 신경망과 기존의 프라이버시 보장 기반 기법보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a method to revise the neural network to construct the quaternion-valued neural network (QNN), in order to prevent intermediate-layer features from leaking input information. The QNN uses quaternion-valued features, where each element is a quaternion. The QNN hides input information into a random phase of quaternion-valued features. Even if attackers have obtained network parameters and intermediate-layer features, they cannot extract input information without knowing the target phase. In this way, the QNN can effectively protect the input privacy. Besides, the output accuracy of QNNs only degrades mildly compared to traditional neural networks, and the computational cost is much less than other privacy-preserving methods.

연구 동기 및 목표

• 딥 신경망의 중간층 특징에서 발생하는 프라이버시 유출 위험을 해결하기 위해.
• 모델 정확도를 크게 떨어뜨리거나 계산 비용을 크게 증가시키지 않는 프라이버시 보장 방법을 개발하기 위해.
• 원시 데이터를 현지에서 처리할 수 없는 연합 학습 또는 외주 학습 환경에서 안전한 특징 공유를 가능하게 하기 위해.
• 기존 실수값 신경망을 프라이버시 보장 QNN로 변환할 수 있는 일반적이고 아키텍처에 구애받지 않는 방법을 제공하기 위해.

제안 방법

• 중간 특징을 허수로 표현하는 허수 신경망(QNN)으로 기존 실수값 신경망을 변환한다.
• 에코더 단계에서 입력 정보를 허수 특징의 무작위 위상에 인코딩하여 비밀 키 역할을 한다.
• 처리 모듈에서 회전 동치성(rotation equivariance)을 보장하여 위상 회전이 레이어 간에 일관되게 유지되도록 한다.
• ReLU, 배치 정규화 등 표준 연산을 수정하여 허수 공간에서의 회전 동치성을 유지한다.
• 공격자가 위상을 추정하는 것을 어렵게 하기 위해 적대적 학습을 적용한다.
• 알려진 위상을 가진 디코더를 사용해 회전을 역으로 적용하고 정확한 출력을 복원한다.

실험 결과

연구 질문

• RQ1 중간층 특징과 모델 파ram을 접근할 수 있는 공격자에게도 허수 특징이 입력 정보를 효과적으로 숨길 수 있는가?
• RQ2 재구성 및 추론 공격에 대해 QNN의 프라이버시 보호 성능이 복소수 신경망과 동형 암호화와 비교해 어떻게 되는가?
• RQ3 기존의 프라이버시 보장 기반 기법과 비교해 QNN 방법이 모델 정확도와 계산 효율성에 얼마나 영향을 미치는가?
• RQ4 QNN 프레임워크가 아키텍처 설계를 크게 재편하지 않고도 다양한 신경망 아키텍처에 일반화 가능한가?

주요 결과

• QNN는 CIFAR-10에서 재구성 오차가 0.0011로 기존 모델보다 현저히 높아, 더 강력한 프라이버시 보호를 의미한다.
• QNN의 평균 차이 각도 Δθ는 3.56°로, 공격자가 정확한 위상을 추정하기 어려운 것을 시사한다.
• 인간 평가자들이 재구성된 샘플 중 90%에서 원본 입력을 식별하지 못해 신원 유추에 대한 재구성 실패 비율이 높음을 보였다.
• QNN에서 추정된 샘플의 순위는 복소수 신경망보다 높아 위상 복구의 어려움을 나타낸다.
• QNN의 추론 시간은 표준 DNN와 유사하며, 동형 암호화(예: Gazelle)보다 훨씬 빠르며, 일부 경우 10배의 속도 향상을 보였다.
• QNN는 원래 DNN의 분류 오차율을 1% 이내로 유지하여 강력한 프라이버시 보장에도 불구하고 최소한의 정확도 저하를 보였다.