[논문 리뷰] Privacy-preserving Transfer Learning via Secure Maximum Mean Discrepancy

Bin Zhang, Cen Chen외 1명|arXiv (Cornell University)|2020. 09. 24.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 5

한 줄 요약

이 논문은 원시 데이터를 폭 lộ하지 않고 MMD 손실을 계산할 수 있도록 히든 데이터를 암호화하는 동형 암호화를 활용하는 프라이버시 보장 전이 학습 방법인 보안 최대 평균 차이(SMMD)를 제안한다. 이는 안전한 도메인 적응을 가능하게 하며, 여러 데이터셋에서 페더레이티드 환경에서 높은 정확도와 보안성을 입증한다. 비암호화된 MMD와 거의 동일한 성능를 달성한다.

ABSTRACT

The success of machine learning algorithms often relies on a large amount of high-quality data to train well-performed models. However, data is a valuable resource and are always held by different parties in reality. An effective solution to such a data isolation problem is to employ federated learning, which allows multiple parties to collaboratively train a model. In this paper, we propose a Secure version of the widely used Maximum Mean Discrepancy (SMMD) based on homomorphic encryption to enable effective knowledge transfer under the data federation setting without compromising the data privacy. The proposed SMMD is able to avoid the potential information leakage in transfer learning when aligning the source and target data distribution. As a result, both the source domain and target domain can fully utilize their data to build more scalable models. Experimental results demonstrate that our proposed SMMD is secure and effective.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인 분포를 정렬할 때 발생하는 프라이버시 泄露 문제를 해결하기 위해.
• 기관 간 원시 데이터를 공유하지 않고도 페더레이티드 학습에서 효과적인 지식 전이를 가능하게 하기 위해.
• 데이터 기밀성을 유지하면서도 안전하고 효율적이며 정확한 도메인 정렬 방법을 개발하기 위해.
• 다양한 커널 함수가 프라이버시 보장 전이 학습 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 원시 데이터를 폭 lộ하지 않고 분포 간 거리를 계산할 수 있도록 동형 암호화를 활용하는 최대 평균 차이(MMD)의 보안 버전인 SMMD를 제안한다.
• 원천 도메인과 타겟 도메인의 암호화된 특징 표현에서 MMD 손실을 안전하게 계산할 수 있도록 동형 암호화를 적용한다.
• 전이 가능성과 강건성을 평가하기 위해 선형, 다항식, 가우시안 커널을 암호화 프레임워크 내에서 적용한다.
• 분류를 위해 컨볼루션 계층과 시그모이드 출력을 갖는 딥 러닝 모델을 설계하며, L1=128 및 L2=64 뉴런을 사용한다.
• 암호화된 환경에서 효율적인 계산을 가능하게 하기 위해 가우시안 커널에 대해 2차 테일러 전개를 적용한다.
• UCI-Credit-Card 및 UCI-Census-Income 데이터셋에서 표준 평가 지표인 F1-score, AUC, 정밀도를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 페더레이티드 학습 환경에서 원시 데이터 폭로 없이 MMD 기반 도메인 정렬을 안전하게 계산할 수 있는가?
• RQ2 동형 암호화는 전이 학습에서 MMD 계산의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 선형, 다항식, 가우시안 커널 중 어떤 커널 함수가 안전한 계산 환경에서 가장 높은 성능를 보이는가?
• RQ4 비암호화된 MMD 및 원천 전용 기준 모델과 비교해 SMMD는 모델 성능에서 어떤가?

주요 결과

• SMMD는 비암호화된 MMD와 거의 동일한 성능를 달성하며, UCI-Credit-Card에서 암호화된 선형 커널이 0.684 F1-score를 기록한 반면 비암호화된 경우는 0.693이었다.
• 가우시안 커널이 다른 커널보다 뛰어나며, UCI-Credit-Card에서 비암호화 및 암호화 환경 모두에서 0.702 AUC를 기록했다.
• 모든 커널 유형에서 성능가 안정적이며, 암호화 시 정확도 저하가 최소 수준이었다. 예를 들어, 가우시안 커널(σ=1)은 비암호화 시 0.739였고, 암호화 시 0.724로 약간 감소했다.
• SMMD는 FTL 기준 모델을 크게 앞서며, UCI-Census-Income에서 정밀도 0.851(비교 기준 0.845)과 AUC 0.787(비교 기준 0.712)의 성능를 기록했다.
• 원천 전용 기준 모델은 일관되게 성능이 열 劣했으며, UCI-Credit-Card에서 F1-score는 0.665로 기록되어 전이 학습의 가치를 확인했다.
• 다양한 커널 유형에 대해 강건한 성능를 보였으며, 계산 복잡도 증가로 인해 다항식 커널의 성능는 차수 증가에 따라 약간 저하되는 경향을 보였다.