[논문 리뷰] Interpretable Complex-Valued Neural Networks for Privacy Protection

Liyao Xiang, Haotian Ma외 4명|arXiv (Cornell University)|2019. 01. 28.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 6

한 줄 요약

이 논문은 실수 값 특징을 복소수 값 특징으로 변환하고 입력 정보를 무작위로 선택한 위상에 통합함으로써 딥 신경망의 프라이버시를 향상시키는 방법을 제안한다. 이 방법은 모델 정확도를 유지하면서도 악성 사용자가 입력 속성 또는 원본 입력을 복원하는 것을 매우 어렵게 만들며, 최소한의 계산 오버헤드로 강력한 프라이버시 보호를 달성한다.

ABSTRACT

Previous studies have found that an adversary attacker can often infer unintended input information from intermediate-layer features. We study the possibility of preventing such adversarial inference, yet without too much accuracy degradation. We propose a generic method to revise the neural network to boost the challenge of inferring input attributes from features, while maintaining highly accurate outputs. In particular, the method transforms real-valued features into complex-valued ones, in which the input is hidden in a randomized phase of the transformed features. The knowledge of the phase acts like a key, with which any party can easily recover the output from the processing result, but without which the party can neither recover the output nor distinguish the original input. Preliminary experiments on various datasets and network structures have shown that our method significantly diminishes the adversary's ability in inferring about the input while largely preserves the resulting accuracy.

연구 동기 및 목표

• 신뢰할 수 없는 클라우드 서버에 오프로딩되는 동안 딥 신경망의 중간층 특징에서 발생하는 프라이버시 泄露 문제를 해결하기 위해.
• 처리된 특징에서 악성 사용자가 민감한 입력 속성을 추론하거나 원본 입력을 복원하는 것을 방지하기 위해.
• 특징 변환을 통해 강력한 프라이버시 보장을 유지하면서도 높은 모델 정확도를 확보하기 위해.
• 재학습이나 추가 지도 학습 없이도 다양한 DNN 아키텍처에 일반적으로 적용 가능한 효율적인 방법을 설계하기 위해.

제안 방법

• 무작위 위상 각도로 특징을 회전시켜 실수 값 특징을 복소수 값 특징으로 변환한다.
• 특징 회전에 대해 출력이 불변성을 유지하면서도 기능을 보존하는 복소수 신경망 아키텍처를 사용한다.
• 생성적 적대적 네트워크(GAN)를 통합하여 특징을 합성함으로써 k-익명성과 원래 입력 패턴의 은폐를 강제한다.
• 위상 값을 알고 있는 자들만 정확한 출력을 복원할 수 있도록 하며, 나머진 원래 입력이나 출력을 구별할 수 없도록 보장한다.
• 변환 후에도 특징의 조각별 선형성을 유지하여 모델 정확도를 보존한다.
• 재학습이나 지도 학습 없이 다양한 DNN 아키텍처와 데이터셋에 일반적으로 적용 가능한 방법을 적용한다.

실험 결과

연구 질문

• RQ1 무작위 위상으로 실수 값 특징을 복소수 값 특징으로 변환하는 것이 악성 사용자에게 입력 정보를 효과적으로 은폐하는 데에 적합한가?
• RQ2 기존 실수 값 신경망과 비교할 때 이 방법이 모델 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 학습에 사용되지 않은 숨겨진 속성에 대한 성격 추론 공격에 대해 이 방법이 얼마나 잘 견뎌내는가?
• RQ4 악성 사용자가 고급 역전파 기법을 사용하더라도 입력 복원 공격을 방지할 수 있는가?
• RQ5 기준 모델 대비 제안된 방법의 계산 오버헤드는 어느 정도인가?

주요 결과

• 복소수 신경망은 기준 모델과 유사한 분류 오차율을 달성하였으며, 계산 오버헤드는 중간 정도 수준이었다.
• 모든 데이터셋과 모델에서 입력 이미지의 복원 오차가 뚜렷이 높아, 역전파 공격에 대한 강력한 저항성을 보였다.
• 악성 사용자가 추정한 위상 각도 오차는 대부분 (π/4, π/2) 범위에 있었으며, 진짜 위상 값을 신뢰성 있게 복원할 수 없음을 시사했다.
• CIFAR-100에서 은닉 속성에 대한 추론 공격 오차율은 랜덤 선택 수준(99%)에 가까웠으며, 강력한 프라이버시 보호를 입증했다.
• k-NN 및 기타 공격 모델은 변환된 특징에 적용되었을 때 일관되게 높은 오차율을 보였으며, k-익명성의 성립을 확인했다.
• 실행 시간은 기준 모델과 유사했으며, CelebA와 CIFAR-100에서 배치 크기가 각각 128과 100이었다.