[論文レビュー] Model Reuse with Reduced Kernel Mean Embedding Specification

Xi-Zhu Wu, Wenkai Xu+2 more|Bristol Research (University of Bristol)|Jan 20, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 4

ひとこと要約

本稿では、訓練済み機械学習モデルの再利用を可能にしつつ、生データへのアクセスを伴わせないプライバシー保護型仕様として、縮小カーネル平均埋め込み（RKME）の使用を提案する。二段階フレームワーク（RKME仕様のアップロードとMMDに基づくマッチングによる展開）は、タスク再利用およびインスタンス再利用の仮定の下でも効果的なモデル選択を示し、Huaweiにおける実際の産業的回帰タスクにおいて優れた性能を発揮するとともに、データプライバシーを確保している。

ABSTRACT

Given a publicly available pool of machine learning models constructed for various tasks, when a user plans to build a model for her own machine learning application, is it possible to build upon models in the pool such that the previous efforts on these existing models can be reused rather than starting from scratch? Here, a grand challenge is how to find models that are helpful for the current application, without accessing the raw training data for the models in the pool. In this paper, we present a two-phase framework. In the upload phase, when a model is uploading into the pool, we construct a reduced kernel mean embedding (RKME) as a specification for the model. Then in the deployment phase, the relatedness of the current task and pre-trained models will be measured based on the value of the RKME specification. Theoretical results and extensive experiments validate the effectiveness of our approach.

研究の動機と目的

• 生の訓練データにアクセスせずに事前学習済みモデルを再利用する課題に対処し、データプライバシーを確保すること。
• 新しいタスクに再利用可能なモデルを効果的に特定できる仕様手法を開発すること。
• モデル再利用が可能となる分布的仮定（例：タスク再利用およびインスタンス再利用）を形式化し、検証すること。
• 本手法の実世界での実用的妥当性を、実産業界の回帰プロジェクトにおいて実証すること。

提案手法

• アップロード段階において、訓練データ分布から縮小カーネル平均埋め込み（RKME）を構築し、生の例を露呈させずにデータ分布を表現する。
• タスク再利用仮定の下で、最大平均差分（MMD）を用いて、現在のタスクと事前学習済みモデルとの類似度を測定する。
• インスタンス再利用仮定の下では、カーネルハーディングを用いて補助データを生成し、現在のタスクの分布を模倣し、各テストインスタンスに対して最適なモデルを特定するためのセレクタを訓練する。
• 展開段階においてRKME仕様を適用し、元の訓練データにアクセスせずに分布的類似度に基づいて最適な事前学習済みモデルを選択する。
• 二段階パイプライン（アップロード：仕様生成、展開：モデル選択）を採用し、RKMEをコア仕様メカニズムとして活用する。
• インスタンス再利用推論における補助データ生成の段階で、効率的かつ代表的なサンプリングを実現するため、カーネルハーディングを活用する。

実験結果

リサーチクエスチョン

• RQ1 生の訓練データを露呈させずに、モデル再利用を可能にするような仕様を構築できるか？
• RQ2 モデルの仕様のみが利用可能な状況で、新しいタスクと事前学習済みモデルとの類似度はどのように測定できるか？
• RQ3 どのような分布的仮定（例：タスク再利用やインスタンス再利用など）の下で、効果的なモデル再利用が達成できるか？
• RQ4 RKMEに基づく仕様は、既存のモデル再利用およびトランスファーラーニング手法に比べ、精度とプライバシーの両面で優れているか？

主な発見

• 提案されたRKMEベースのフレームワークは、Huaweiにおける実世界の回帰タスクで最先端の性能を達成し、RMSEが0.0279にまで低下し、モデル再利用ベースライン（RANDおよびAVG）を上回った。
• 本手法は3f1メトリクスで52.05%のF1スコア、3p30メトリクスで80.82%を達成し、一部のメトリクスにおいて非プライベートなトランスファーラーニング手法（mSDAやKMM）を上回ったが、同時にデータプライバシーを確保した。
• カーネルハーディングで生成された補助データを用いたインスタンス再利用手順により、現在のタスクが以前に解決済みのタスクの混合である場合でも、正確なモデル選択が可能になった。
• RKME仕様の構築後、生の訓練データが一切露呈しないため、本フレームワークはデータ非アクセス要件を満たし、プライバシーを維持している。
• 実験の結果、混合タスクの数が減少するにつれて、適切な事前学習済みモデルの選択により、不可能な出力クラスを除外でき、耐性が向上することが示された。
• RKME仕様は、タスク再利用およびインスタンス再利用の両仮定の下で効果的なモデル再利用を可能にし、理論的および実験的妥当性が裏付けられている。