[논문 리뷰] Data collaboration analysis for distributed datasets

Akira Imakura, Tetsuya Sakurai|arXiv (Cornell University)|2019. 02. 20.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 4

한 줄 요약

이 논문은 원자료나 모델 파rameter를 공유하지 않으면서도 데이터 프라이버시를 유지하고 모델 중앙집중화를 피하는 분산 데이터셋을 위한 데이터 협업 분석 방법을 제안한다. 각 기관 고유의 중간 표현을 개별적으로 공유하지 않는 매핑 함수를 통해 생성한 후, 앵커 데이터와 SVD 기반 변환을 이용해 이러한 표현들을 공통의 협업 공간으로 정렬함으로써, 원자료나 모델 파rameter를 공유하지 않고도 중앙집중적 학습을 가능하게 한다. 이로 인해 개별 분석 대비 향상된 예측 성능를 달성한다.

ABSTRACT

In this paper, we propose a data collaboration analysis method for distributed datasets. The proposed method is a centralized machine learning while training datasets and models remain distributed over some institutions. Recently, data became large and distributed with decreasing costs of data collection. If we can centralize these distributed datasets and analyse them as one dataset, we expect to obtain novel insight and achieve a higher prediction performance compared with individual analyses on each distributed dataset. However, it is generally difficult to centralize the original datasets due to their huge data size or regarding a privacy-preserving problem. To avoid these difficulties, we propose a data collaboration analysis method for distributed datasets without sharing the original datasets. The proposed method centralizes only intermediate representation constructed individually instead of the original dataset.

연구 동기 및 목표

• 원자료나 모델 파ram터를 중앙집중화하지 않고도 분산된 데이터셋에서 협업 기반 기계학습을 가능하게 하기 위해.
• 의료와 같은 민감한 분야에서 특히 중요한 대규모 분산 분석의 프라이버시 및 확장성 문제를 해결하기 위해.
• 다양한 분산된 데이터셋에서의 통찰을 융합하여 개별 기관의 분석 성능을 초월하는 예측 성능 향상을 위해.
• 암호화나 차별적 프라이버시 기법에 의존하지 않아 계산 오버헤드를 줄이기 위해.
• 매핑 함수를 공유하지 않음으로써 원자료가 중간 표현에서 재구성될 수 없도록 보장하기 위해.

제안 방법

• 각 기관은 기관 고유의 비가역적 매핑 함수 $f_i$를 사용하여 고유한 중간 표현 $\widetilde{X}_i = f_i(X_i)$를 계산한다.
• 공개되거나 가짜인 앵커 데이터를 사용하여 공통 기준 공간을 생성한다: $\widetilde{X}_i^{\text{anc}} = f_i(X^{\text{anc}})$.
• 모든 기관의 중간 표현을 중앙집중화하여 행렬 $[\widetilde{X}_1^{\text{anc}}, \dots, \widetilde{X}_d^{\text{anc}}]$로 통합한다.
• 이 통합된 행렬에 대해 특이값 분해(SVD)를 적용하여 왼쪽 특이벡터 $U_1$을 추출함으로써 공통 기반을 확보한다.
• 각 기관별로 자신의 중간 표현 $\widetilde{X}_i$를 공통 협업 공간으로 매핑하기 위한 변환 행렬 $G_i = U_1^T (\widetilde{X}_i^{\text{anc}})^\dagger$를 계산한다.
• 정렬된 표현 $\widehat{X}_i = G_i \widetilde{X}_i$를 융합하여 글로벌 학습 데이터셋 $\widehat{X}$를 구성하고, 이에 대해 진짜 레이블 $L$과 함께 모델 $h$를 학습시킨다.

실험 결과

연구 질문

• RQ1 원자료를 공유하지 않고도 협업을 가능하게 하여 분산된 데이터셋에서 더 높은 예측 성능를 달성할 수 있는가?
• RQ2 기관 고유의 매핑 함수를 사용한 서로 다른 기관의 중간 표현을 공통의 사용 가능한 공간으로 정렬할 수 있는가?
• RQ3 연합학습에서 모델 중앙집중화나 암호화 기법으로 인한 프라이버시 위험을 피할 수 있는가?
• RQ4 제안된 방법은 개별 분석 또는 완전히 중앙집중화된 학습 대비 얼마나 효과적인가?
• RQ5 앵커 데이터와 SVD 기반 변환을 사용할 경우, 데이터 프라이버시를 보장하면서도 표현의 유용성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 원자료나 모델 파ram터를 공유하지 않고도 기관 고유의 중간 표현을 공통 협업 공간으로 정렬함으로써 분산된 데이터셋에서 중앙집중적 학습을 가능하게 한다.
• 매핑 함수 $f_i$를 공유하지 않음으로써 원자료가 중간 표현에서 재구성되는 것을 불가능하게 하여 프라이버시 위험을 피한다.
• 앵커 데이터와 SVD 기반 변환을 통해 차원과 매핑 함수가 다른 다양한 기관의 이질적인 표현 간 정렬을 달성한다.
• 노이즈 주입이나 복잡한 암호화를 피하기 때문에 암호화나 차별적 프라이버시 기법 대비 계산 효율성이 뛰어나다.
• 정렬된 표현을 기반으로 단일 모델을 학습시켜 개별 기관의 분석 성능을 초월하는 성능 향상을 달성한다.
• 이 프레임워크는 PCA, FDA, 딥 네ural 네트워크 구성요소를 포함한 다양한 차원 축소 및 특징 추출 기법과 일반적으로 호환되며 유연하다.