[논문 리뷰] Morphed Learning: Towards Privacy-Preserving for Deep Learning Based Applications

Juncheng Shen, Juzheng Liu외 2명|arXiv (Cornell University)|2018. 09. 20.

Privacy-Preserving Technologies in Data인용 수 1

한 줄 요약

모르드 러닝(MoLe)은 데이터 변형과 보강된 컨볼루션(Aug-Conv) 레이어를 통해 기밀 보장이 가능한 딥러닝 프레임워크로, VGG-16과 CIFAR-10에서 계산 오버헤드 9%와 데이터 전송 오버헤드 5.12%를 기록하며 기존의 GAZELLE에 비해 효율성과 보안성에서 뛰어나며, 적대자 성공 확률은 7.9×10⁻⁹⁰에 불과하다.

ABSTRACT

Privacy recently emerges as a severe concern in deep learning, that is, sensitive data must be prohibited from being shared with the third party during deep neural network development. In this paper, we propose Morphed Learning (MoLe), an efficient and secure scheme to deliver deep learning data. MoLe has two main components: data morphing and Augmented Convolutional (Aug-Conv) layer. Data morphing allows data providers to send morphed data without privacy information, while Aug-Conv layer helps deep learning developers to apply their networks on the morphed data without performance penalty. MoLe provides stronger security while introducing lower overhead compared to GAZELLE (USENIX Security 2018), which is another method with no performance penalty on the neural network. When using MoLe for VGG-16 network on CIFAR dataset, the computational overhead is only 9% and the data transmission overhead is 5.12%. As a comparison, GAZELLE has computational overhead of 10,000 times and data transmission overhead of 421,000 times. In this setting, the attack success rate of adversary is 7.9 x 10^{-90} for MoLe and 2.9 x 10^{-30} for GAZELLE, respectively.

연구 동기 및 목표

• 제3자에게 데이터를 공유하지 않아도 되는 민감한 데이터의 기밀 보장 문제를 해결하기 위해 딥러닝 분야에서 증가하는 데이터 기밀 보호에 대한 우려를 다루기.
• 높은 계산 또는 통신 오버헤드를 유발하는 기존의 기밀 보장 딥러닝 프레임워크의 한계를 극복하기.
• 데이터 공유 중 기밀 누출을 제거하면서도 모델 성능을 유지하는 기법 개발.
• 특히 적대자 복구 공격에 강력한 보안 보장을 제공하여 이전 연구들, 예를 들어 GAZELLE를 뛰어넘는 보안 강도 확보.
• 성능 저하를 최소화하여 기밀 보장 딥러닝의 실용적 구현 가능성을 높이기.

제안 방법

• 전송 이전에 원본 데이터를 기밀 보장 가능한 형태로 변형하기 위해 데이터 모핑을 적용하여 식별 가능하거나 민감한 특징을 제거하기.
• 모핑된 데이터를 처리할 수 있도록 신경망 성능 저하 없이 작동하는 보강된 컨볼루션(Aug-Conv) 레이어 도입.
• 전방 및 역방향 전파 중에 모핑 효과를 암묵적으로 복원함으로써 모델 정확도를 유지하도록 Aug-Conv 레이어 설계.
• 모핑 과정이 승인된 당사자 외에는 복원 불가능하도록 보장하여 악성 당사자가 복원할 수 없도록 하기.
• 암호화 및 변환 기법을 사용해 비승인자에게는 모핑된 데이터가 무작위 노이즈와 구별되지 않도록 만들기.
• 적대자 복구 성공 확률을 정량화하기 위해 위협 모델을 체계화하여 철저한 보안 평가 가능하게 하기

실험 결과

연구 질문

• RQ1 기존 솔루션 대비 계산 및 통신 오버헤드를 최소화하면서도 기밀 보장이 가능한 딥러닝 프레임워크를 통해 안전한 데이터 공유가 가능한가?
• RQ2 제안된 모핑 및 Aug-Conv 메커니즘이 기밀 누출을 제거하면서도 모델 정확도를 유지하는 데 얼마나 효과적인가?
• RQ3 적대자가 모핑된 입력에서 원본 데이터를 복구하는 데 성공할 확률은 얼마이며, 이는 이전 연구와 비교해 어떻게 다른가?
• RQ4 VGG-16과 CIFAR-10과 같은 표준 벤치마크에서 기밀 보장 조건 하에 높은 성능을 유지할 수 있는가?
• RQ5 GAZELLE 대비 MoLe의 보안 강도는 복구 확률 및 오버헤드 측면에서 어떻게 정량적으로 비교되는가?

주요 결과

• MoLe는 VGG-16을 CIFAR-10에 배포할 때 계산 오버헤드를 단지 9%로 줄였으며, GAZELLE의 10,000× 오버헤드에 비해 뛰어나다.
• MoLe에서는 데이터 전송 오버헤드가 5.12%로 감소했으며, GAZELLE의 421,000× 증가에 비해 극적으로 향상되었다.
• MoLe에서 적대자가 원본 데이터를 복구하는 데 성공할 확률은 7.9×10⁻⁹⁰으로, GAZELLE의 2.9×10⁻³⁰보다 훨씬 낮다.
• Aug-Conv 레이어 덕분에 모핑된 데이터에 대해 정확한 추론이 가능해졌으며, 성능 저하 없이 모델 정확도를 유지했다.
• MoLe는 GAZELLE보다 기밀 보장 수준이 뛰어나며, 계산 및 통신 측면에서 훨씬 더 효율적이다.
• 모핑 메커니즘이 데이터에서 민감한 정보를 효과적으로 제거하면서도 딥러닝 학습 및 추론에 필요한 유용성은 유지한다.