[논문 리뷰] ExpertMatcher: Automating ML Model Selection for Users in Resource Constrained Countries

Vivek Kumar Sharma, Praneeth Vepakomma외 4명|arXiv (Cornell University)|2019. 10. 05.

Data Stream Mining Techniques참고 문헌 19인용 수 4

한 줄 요약

ExpertMatcher는 자동에코더를 사용해 클라이언트 데이터 표현을 중앙 서버의 가장 관련성 있는 사전 훈련된 모델과 매칭시켜 자원이 제한된 사용자를 위한 기계학습 모델 선택을 자동화한다. 이는 굵은 수준의 데이터셋 할당에서 평균 99.34%의 정확도와 세밀한 클래스 매칭에서 최대 84.36%의 정확도를 달성하여 재훈련이나 데이터 공유 없이 효율적인 추론을 가능하게 한다.

ABSTRACT

In this work we introduce ExpertMatcher, a method for automating deep learning model selection using autoencoders. Specifically, we are interested in performing inference on data sources that are distributed across many clients using pretrained expert ML networks on a centralized server. The ExpertMatcher assigns the most relevant model(s) in the central server given the client's data representation. This allows resource-constrained clients in developing countries to utilize the most relevant ML models for their given task without having to evaluate the performance of each ML model. The method is generic and can be beneficial in any setup where there are local clients and numerous centralized expert ML models.

연구 동기 및 목표

• 자원이 제한된 국가에 속한 사용자들이 계산 능력, 데이터, 또는 기계학습 전문 지식이 부족한 상황에서 적절한 사전 훈련된 기계학습 모델을 선택하는 데 도전하는 것.
• 클라이언트가 서버에 원시 데이터를 공유하지 않고도 자신의 데이터를 동적으로 가장 관련성이 높은 전문 모델에 할당할 수 있도록 하는 것.
• 粗역할(데이터셋)과 세밀한 역할(클래스) 매칭을 모두 지원하는 일반적이고 모듈화된, 효율적인 모델 선택 방법을 개발하는 것.
• 극복적 기억 상실과 다양한 작업에서의 열악한 성능을 겪는 대규모 다중 작업 모델을 훈련하는 데 의존도를 줄이는 것.

제안 방법

• ExpertMatcher는 각 전문 모델의 훈련 데이터 표현을 압축하고 공유하는 데 목적이 있는 단일층 MLP 자동에코더(784 → 128 → 784)를 사용하여 표현을 학습한다.
• 粗역할 할당을 위해 클라이언트 입력과 자동에코더 출력 간의 재구성 오차(MSE)를 계산하고, 가장 낮은 오차를 가진 모델을 선택한다.
• 세밀한 클래스 할당을 위해 클라이언트 데이터의 버블넥 레이어 표현과 자동에코더가 학습한 클래스별 표현 간의 코사인 유사도를 사용한다.
• 이 방법은 모듈러하다: 전체 시스템을 다시 훈련하지 않고도 새로운 전문 모델을 서버에 추가할 수 있다.
• 클라이언트는 원시 데이터가 아닌 데이터 표현만 서버에 전송하므로 기밀성이 유지된다.
• 이 접근법은 6개의 벤치마크 데이터셋을 사용해 평가되었으며, 모델 할당은 MSE(粗역할) 또는 코사인 유사도(세밀한 역할) 기반으로 이루어졌다.

실험 결과

연구 질문

• RQ1 자동에코더 기반 표현이 분산 환경에서 주어진 클라이언트 입력에 가장 관련성이 높은 사전 훈련된 모델을 효과적으로 식별할 수 있는가?
• RQ2 최소한의 계산 오버헤드로 다양한 벤치마크 데이터셋에서 굵은 수준의 데이터셋 매칭을 얼마나 정확하게 수행할 수 있는가?
• RQ3 모델이 다른 클래스 분포에서 훈련된 경우, 이 방법이 세밀한 클래스 수준의 매칭을 어느 정도 지원할 수 있는가?
• RQ4 자동에코더 기반 매칭기의 성능이 데이터셋 및 클래스 할당 작업에서 직접 분류(예: 소프트맥스를 사용한 MLP)와 비교해 어떻게 되는가?
• RQ5 이 방법은 비선형 시야 및 당뇨병 망막병변 검출과 같은 실제 의료 및 영상 응용 분야로 일반화될 수 있는가?

주요 결과

• ExpertMatcher는 6개의 벤치마크 데이터셋에서 굵은 수준의 데이터셋 할당 평균 정확도가 99.34%를 기록했으며, MNIST, STL-10, HAR의 경우 개별 정확도가 99%를 초과했다.
• 자동에코더 기반 접근법은 더 단순하고 일반화 능력이 뛰어나지만, 직접 분류기(MLP, 99.95% 정확도)의 성능을 뛰어넘지 못하고 동등한 성능을 달성했다.
• 세밀한 클래스 할당에서 이 방법은 MNIST에서 84.36%의 정확도, NLOS에서 71.78%의 정확도를 기록하여 유사한 클래스 분포에서 훈련된 모델을 식별하는 데 효과적임을 입증했다.
• 이 방법은 도메인 특화 작업으로도 일반화에 성공했으며, 당뇨병 망막병변 데이터셋에서 96.49%의 정확도, 비선형 시야 영상 데이터셋에서 99.92%의 정확도를 기록했다.
• 두 개의 겹치지 않는 클라이언트 데이터 하위 집합에서 성능가 안정적이었으며, 데이터 샘플링 변동성에 대한 강건성을 보였다.
• 이 방법은 데이터 공유나 중앙 모델 허브의 재훈련 없이도 효율적이고 기밀성을 유지하는 모델 선택을 가능하게 한다.