[논문 리뷰] ExpertMatcher: Automating ML Model Selection for Clients using Hidden Representations

Vivek Kumar Sharma, Praneeth Vepakomma외 4명|arXiv (Cornell University)|2019. 10. 09.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 7

한 줄 요약

이 논문은 원시 클라이언트 데이터를 공유하지 않고도 분산 시스템에서 머신러닝 모델 선택을 자동화하는 ExpertMatcher-HR을 제안한다. 클라이언트와 서버에서 별도로 훈련된 오토인코더를 사용하여 은닉 표현을 추출하고 코사인 유사도를 통해 비교함으로써, 데이터 공유 기반 기준과 거의 동일한 성능을 달성한다—粗역할 할당에서 평균 99.3% 정확도, 세분화된 분류에서 71.4% 정확도를 기록하며, 개인정보 보호를 유지하면서 대역폭도 줄인다.

ABSTRACT

Recently, there has been the development of Split Learning, a framework for distributed computation where model components are split between the client and server (Vepakomma et al., 2018b). As Split Learning scales to include many different model components, there needs to be a method of matching client-side model components with the best server-side model components. A solution to this problem was introduced in the ExpertMatcher (Sharma et al., 2019) framework, which uses autoencoders to match raw data to models. In this work, we propose an extension of ExpertMatcher, where matching can be performed without the need to share the client's raw data representation. The technique is applicable to situations where there are local clients and centralized expert ML models, but the sharing of raw data is constrained.

연구 동기 및 목표

• 원시 데이터를 공유하지 않고도 개인정보 보호 방식으로 클라이언트 데이터에 가장 적합한 전문가 모델을 할당하는 문제를 해결한다.
• 기존 ExpertMatcher 방법의 한계를 극복한다. 기존 방법은 원시 클라이언트 데이터를 공유해야 하며, 이는 개인정보 보호, 보안, 저장소 문제를 야기한다.
• 원시 데이터를 이전할 수 없는 분산 학습 프레임워크(예: Split Learning)에서 효율적이고 확장 가능한 모델 선택을 가능하게 한다.
• 원시 입력 대신 중간 은닉 표현만을 사용하여 높은 모델 할당 정확도를 유지한다.
• 이 방법의 타당성과 성능을 다양한 데이터 모odal리티—이미지, 텍스트, 센서 데이터, 의료 영상 등—에서 입증한다.

제안 방법

• 비중복이지만 유사한 분포를 가진 데이터를 사용하여 클라이언트와 서버 양측에서 별도의 오토인코더(AE)를 훈련한다.
• 클라이언트 측 오토인코더를 사용해 클라이언트 데이터의 중간 은닉 표현을 추출하고, 이들 인코딩된 특징만을 공유한다.
• 서버 측에서 각 전문가 모델의 훈련 데이터셋에 대해 평균 은닉 표현(μk)을 계산하고, 클라이언트 측에서 각 클라이언트의 데이터셋에 대해 동일한 평균을 계산한다.
• 클라이언트의 인코딩된 표현과 서버 측에서 사전 계산된 평균 표현 간의 최대 코사인 유사도를 기반으로 모델을 할당한다.
• 동일한 유사도 기반 매칭 메커니즘을 사용해粗역할 할당(데이터셋 수준)과 세분화된 할당(클래스 수준)을 수행한다.
• 독립적인 훈련에도 불구하고 클라이언트와 서버의 AEs 간 모델 가중치 초기화 일관성을 확보하여 유사한 표현으로 수렴하도록 한다.

실험 결과

연구 질문

• RQ1 원시 클라이언트 데이터를 공유하지 않고도 은닉 표현만을 사용해 전문가 모델 선택을 정확하게 수행할 수 있는가?
• RQ2 원시 데이터 공유가 필요한 방법과 비교해 은닉 표현을 통한 모델 할당 성능는 어떠한가?
• RQ3 서로 다른 데이터 분포에서 별도로 훈련된 오토인코더가 여전히 매칭에 적합한 유사한 은닉 표현을 생성할 수 있는가?
• RQ4 제한된 클라이언트 측 데이터가 세분화된 클래스 할당 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 다수의 클라이언트와 다양한 데이터 유형에 대해 개인정보 보호와 효율성을 유지하면서도 확장 가능한가?

주요 결과

• 제안된 방법은 여섯 개의 데이터셋에서 평균 99.30%의 정확도로粗역할 할당을 달성하였으며, 원시 데이터를 공유하는 Sharma et al. (2019)와 유사한 성능을 보였다.
• 세분화된 클래스 할당에서는 MNIST에서 71.4%의 정확도를 기록하였으며(기준 모델 대비 84.36%), 클라이언트 측 훈련 데이터가 적어 성능 저하가 발생함을 보여주었다.
• 비중복된 데이터에서 별도로 훈련되었음에도 불구하고 오토인코더는 코사인 공간에서 매우 유사한 은닉 표현을 생성하여 효과적인 매칭이 가능하다.
• 클라이언트 데이터의 100% 개인정보 보호를 유지함에도 불구하고, 저차원의 인코딩된 특징만 공유하므로 성능이 높게 유지된다.
• MNIST, STL-10, HAR, Reuters, NLOS, 당뇨병 망막병변 데이터 등 다양한 데이터 유형에서 성능이 뛰어나게 유지된다.
• 다수의 클라이언트에 대해 확장 가능하며, 원시 데이터 전송 없이도粗역할 및 세분화된 모델 선택을 지원한다.