[論文レビュー] ExpertMatcher: Automating ML Model Selection for Users in Resource Constrained Countries

Vivek Kumar Sharma, Praneeth Vepakomma+4 more|arXiv (Cornell University)|Oct 5, 2019

Data Stream Mining Techniques参考文献 19被引用数 4

ひとこと要約

ExpertMatcher は、中央サーバー上の事前学習済みモデルから、リソース制約のあるユーザー向けに自動的に機械学習モデルを選択する。自己符号化器を用いてクライアントのデータ表現を最も関連性の高いモデルにマッチングする。粗いレベルのデータセット割り当てでは平均99.34%の正確さを達成し、細かいクラスマッチングでは最大84.36%の正確さを示し、再訓練やデータ共有なしに効率的な推論を可能にする。

ABSTRACT

In this work we introduce ExpertMatcher, a method for automating deep learning model selection using autoencoders. Specifically, we are interested in performing inference on data sources that are distributed across many clients using pretrained expert ML networks on a centralized server. The ExpertMatcher assigns the most relevant model(s) in the central server given the client's data representation. This allows resource-constrained clients in developing countries to utilize the most relevant ML models for their given task without having to evaluate the performance of each ML model. The method is generic and can be beneficial in any setup where there are local clients and numerous centralized expert ML models.

研究の動機と目的

• 計算能力、データ、MLの専門知識に制限のある国に住むユーザーが適切な事前学習済みMLモデルを選択するという課題に対処すること。
• クライアントがサーバーに生データを共有せずに、自身のデータを動的に最も関連性の高い専門モデルに割り当てることを可能にすること。
• 粗いレベル（データセット）および細かいレベル（クラス）の両方のマッチングをサポートする、汎用的でモジュール化され、効率的なモデル選択手法を開発すること。
• 災害的忘却を起こしやすく、多様なタスクで性能が劣る大規模なマルチタスクモデルの構築に依存するのを減らすこと。

提案手法

• ExpertMatcher は、各専門モデルの学習データのコンactな共有表現を学ぶために、1層のMLP自己符号化器（784 → 128 → 784）を用いる。
• 粗いレベルの割り当てでは、クライントの入力と自己符号化器の出力との間の再構成誤差（MSE）を計算し、最小誤差を持つモデルに割り当てる。
• 細かいレベルのクラス割り当てでは、クライントデータのボトルネック層表現と、自己符号化器が学習したクラス固有の表現との間のコサイン類似度を用いる。
• この手法はモジュール式であるため、システム全体を再トレーニングせずに、新しい専門モデルをサーバーに追加できる。
• クライントは生データではなく、データ表現（表現）のみをサーバーに送信するため、プライバシーが保たれる。
• アプローチは6つのベンチマークデータセットを用いて評価され、粗いレベルではMSE、細かいレベルではコサイン類似度に基づいてモデル割り当てが行われた。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器ベースの表現は、分散環境において、与えられたクライント入力に最も関連性の高い事前学習済みモデルを効果的に特定できるか？
• RQ2 最小限の計算負荷で、多様なベンチマークデータセットにおいて、粗いレベルのデータセットマッチングをどの程度正確に行えるか？
• RQ3 モデルが異なるクラス分布で学習されている場合、細かいレベルのクラスマッチングをどの程度サポートできるか？
• RQ4 自己符号化器ベースのマッチャの性能は、直接分類（例：ソフトマックスを用いたMLP）と比較して、データセットおよびクラス割り当てタスクでどの程度優れているか？
• RQ5 この手法は、非視線型（non-line-of-sight）や糖尿病網膜症検出といった、実世界の医療および画像処理応用に一般化可能か？

主な発見

• ExpertMatcher は6つのベンチマークデータセット全体で、粗いレベルのデータセット割り当てにおいて平均99.34%の正確さを達成し、MNIST、STL-10、HARでは個々の正確さが99%を超えた。
• 自己符号化器ベースの手法は、より単純で汎用性に優れたにもかかわらず、直接MLP分類器（99.95%の正確さ）と同等の性能を示した。
• 細かいレベルのクラス割り当てでは、MNISTで84.36%、NLOSで71.78%の正確さを達成し、類似したクラス分布で学習されたモデルを識別する有効性が示された。
• この手法はドメイン特化タスクにも効果的に一般化され、糖尿病網膜症では96.49%、非視線型画像処理データセットでは99.92%の正確さを達成した。
• 2つの重複のないクライントデータサブセットにおいても性能が安定しており、データサンプリングのばらつきに対して頑健であることが示された。
• このアプローチにより、データ共有や中央モデルハブの再トレーニングを必要とせず、効率的でプライバシー保護されたモデル選択が可能になった。