[논문 리뷰] Model Reuse with Reduced Kernel Mean Embedding Specification

Xi-Zhu Wu, Wenkai Xu외 2명|Bristol Research (University of Bristol)|2020. 01. 20.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 4

한 줄 요약

이 논문은 사전 학습된 기계 학습 모델의 개인정보 보호 사양으로 감소된 커널 평균 임bedding (RKME)를 사용하는 것을 제안하며, 원시 학습 데이터에 접근하지 않고도 모델 재사용을 가능하게 한다. 두 단계 프레임워크—RKME 사양 업로드 및 MMD 기반 매칭을 통한 배포—는 작업 재현 및 인스턴스 재현 가정 하에서 효과적인 모델 선택을 보여주며, 화웨이의 실질적인 산업적 회귀 과제에서 뛰어난 성능을 발휘하면서도 데이터 프라이버시를 유지한다.

ABSTRACT

Given a publicly available pool of machine learning models constructed for various tasks, when a user plans to build a model for her own machine learning application, is it possible to build upon models in the pool such that the previous efforts on these existing models can be reused rather than starting from scratch? Here, a grand challenge is how to find models that are helpful for the current application, without accessing the raw training data for the models in the pool. In this paper, we present a two-phase framework. In the upload phase, when a model is uploading into the pool, we construct a reduced kernel mean embedding (RKME) as a specification for the model. Then in the deployment phase, the relatedness of the current task and pre-trained models will be measured based on the value of the RKME specification. Theoretical results and extensive experiments validate the effectiveness of our approach.

연구 동기 및 목표

• 원시 학습 데이터에 접근하지 않고도 사전 학습된 모델을 재사용하는 데 도전하는 문제를 해결하고, 데이터 프라이버시를 보장한다.
• 새로운 작업에 대해 재사용 가능한 모델를 효과적으로 식별할 수 있는 사양 방법을 개발한다.
• 모델 재사용이 가능하다고 가정할 수 있는 두 가지 분포 가정—작업 재현 및 인스턴스 재현—을 정식화하고 검증한다.
• 실제 산업 회귀 프로젝트에서 이 방법의 실용적 타당성을 입증한다.

제안 방법

• 업로드 단계에서 학습 데이터 분포로부터 감소된 커널 평균 임베딩 (RKME)를 구성하여 원시 예제를暴露하지 않고 데이터 분포를 표현한다.
• 작업 재현 가정 하에서 최대 평균 차이 (MMD)를 사용하여 현재 작업과 사전 학습된 모델 간의 유사도를 측정한다.
• 인스턴스 재현 가정 하에서 커널 허딩을 통해 보조 데이터를 생성하여 현재 작업의 분포를 모방하고, 각 테스트 인스턴스에 대해 최적의 모델을 식별할 수 있는 선택기 모델을 훈련한다.
• 배포 단계에서 RKME 사양을 적용하여 원본 학습 데이터에 접근하지 않고도 분포 유사도 기반으로 최적의 사전 학습된 모델을 선택한다.
• 두 단계 파ip라인—업로드 (사양 생성) 및 배포 (모델 선택)—을 사용하며, RKME를 핵심 사양 메커니즘으로 활용한다.
• 인스턴스 재현 추론 중 보조 데이터 생성 시 효율적이고 대표적인 샘플링을 위해 커널 허딩을 활용한다.

실험 결과

연구 질문

• RQ1 원시 학습 데이터를暴露하지 않고도 모델 재사용을 가능하게 하는 사양을 구성할 수 있는가?
• RQ2 사전 학습된 모델의 사양만을 이용할 때, 새로운 작업과 사전 학습된 모델 간의 유사도는 어떻게 측정할 수 있는가?
• RQ3 어떤 분포 가정 (예: 작업 재현 또는 인스턴스 재현) 하에서 효과적인 모델 재사용이 달성될 수 있는가?
• RQ4 RKME 기반 사양은 정확도와 프라이버시 측면에서 기존의 모델 재사용 및 전이 학습 방법보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 RKME 기반 프레임워크는 화웨이의 실질적인 산업 회귀 과제에서 최신 기술 수준의 성능을 달성하여 RMSE 0.0279를 기록하며, 모델 재사용 기준선 RAND 및 AVG를 초월한다.
• 우리의 방법은 3f1 지표에서 52.05%의 F1 점수와 3p30 지표에서 80.82%의 점수를 기록하여, 일부 지표에서 비공개 전이 학습 방법인 mSDA 및 KMM를 뛰어넘지만 데이터 프라이버시를 유지한다.
• 커널 허딩으로 생성된 보조 데이터를 사용한 인스턴스 재현 절차는 현재 작업이 이전에 해결된 작업들의 혼합일 경우에도 정확한 모델 선택을 가능하게 한다.
• RKME 사양 생성 이후 원시 학습 데이터가 노출되지 않도록 하여 데이터 프라이버시를 유지함으로써, 접근 불가능성 요구 조건을 충족한다.
• 실험 결과, 혼합 작업 수가 감소할수록 적절한 사전 학습된 모델을 선택하여 불가능한 출력 클래스를 제거함으로써 강건성이 향상됨을 확인하였다.
• RKME 사양은 이론적 및 실험적 검증을 통해 작업 재현 및 인스턴스 재현 가정 하에서 효과적인 모델 재사용을 가능하게 하였다.