[論文レビュー] High Dimensional Restrictive Federated Model Selection with multi-objective Bayesian Optimization over shifted distributions

Xudong Sun, Andrea Bommert+4 more|arXiv (Cornell University)|Feb 24, 2019

Machine Learning and Data Classification参考文献 40被引用数 3

ひとこと要約

本稿では、プライバシーが重視される臨床データ環境において、モデルを局所的に訓練するが評価をリモートで行う高次元でプライバシーに配慮した状況におけるハイパーパrameter最適化のための新規フレームワーク、制限付きフェデレーテッドモデル選択（RFMS）を提案する。シフトしたデータ分布上で多目的ベイズ最適化を用いることで、単目的またはランダムサーチのベースラインと比較して、より優れた汎化性能を達成し、fmoがハイパーボリューム指標において他の手法を上回る。

ABSTRACT

A novel machine learning optimization process coined Restrictive Federated Model Selection (RFMS) is proposed under the scenario, for example, when data from healthcare units can not leave the site it is situated on and it is forbidden to carry out training algorithms on remote data sites due to either technical or privacy and trust concerns. To carry out a clinical research under this scenario, an analyst could train a machine learning model only on local data site, but it is still possible to execute a statistical query at a certain cost in the form of sending a machine learning model to some of the remote data sites and get the performance measures as feedback, maybe due to prediction being usually much cheaper. Compared to federated learning, which is optimizing the model parameters directly by carrying out training across all data sites, RFMS trains model parameters only on one local data site but optimizes hyper-parameters across other data sites jointly since hyper-parameters play an important role in machine learning performance. The aim is to get a Pareto optimal model with respective to both local and remote unseen prediction losses, which could generalize well across data sites. In this work, we specifically consider high dimensional data with shifted distributions over data sites. As an initial investigation, Bayesian Optimization especially multi-objective Bayesian Optimization is used to guide an adaptive hyper-parameter optimization process to select models under the RFMS scenario. Empirical results show that solely using the local data site to tune hyper-parameters generalizes poorly across data sites, compared to methods that utilize the local and remote performances. Furthermore, in terms of dominated hypervolumes, multi-objective Bayesian Optimization algorithms show increased performance across multiple data sites among other candidates.

研究の動機と目的

• プライバシー、信頼性、技術的制約によりデータがローカルな施設から持ち出せない臨床研究における機械学習モデルの学習の課題に対処すること。
• 異なる、おそらくシフトした特徴分布を持つデータサイト間で良好に汎化するモデル選択プロセスを開発すること。
• トレーニングのためのリモートデータアクセスを必要とせず、性能評価のみに利用可能な、効率的なハイパーパrameterチューニングを可能にすること。
• 標準的なフェデレーテッドラーニングの制限を克服し、複数のサイト間で同期的かつ通信量の多いトレーニングを避けること。
• ベイズ最適化を用いて局所的およびリモートの予測性能を同時に最適化することで、モデルの汎化性能を向上させること。

提案手法

• モデルトレーニングはローカルデータでのみ行われるが、性能フィードバックはリモートデータサイトから得られる、新しい学習パラダイム、制限付きフェデレーテッドモデル選択（RFMS）を提案する。
• 局所的およびリモートの予測損失を同時に最適化する多目的ベイズ最適化（MOBO）を用い、パレート最適なハイパーパrameterを求める。
• モデルのリモート性能を、モデルをデプロイした後に送信されるスカラーフィードバック信号としてモデル化し、通信量とプライバシーのオーバーヘッドを最小限に抑える。
• 現実的なデータ分布のシフトを模擬するため、次元削減（10%の分散保持を伴うPCA）とクラスタリングを適用する。
• よりバランスの取れたデータ分布のシナリオを模擬するため、ストラティファイドランダムスプリットを用いる。
• 性能の平坦領域（プラトー境界）を扱えるよう、nugget値1e-6を設定したガウス過程回帰を用いて目的関数をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 制限付きフェデレーテッドモデル選択の下で、多目的ベイズ最適化が単目的やランダムサーチを上回る性能を発揮できるか？
• RQ2 ハイパーパラメータチューニングにローカルデータのみを用いる場合とリモートフィードバックを統合する場合とで、分布がシフトしているデータサイト間でのモデルの汎化性能はどのように異なるか？
• RQ3 不均一な分割とストラティファイドスプリットの異なるデータ分布シナリオ下で、MOBO手法の性能は向上するか？
• RQ4 高次元臨床データにおける分布シフトが、ハイパーパラメータチューニングの安定性および収束性に与える影響は何か？
• RQ5 通信効率と非同期デプロイメントが、プライバシー制約のある環境におけるモデル選択の実現可能性と性能に与える影響は何か？

主な発見

• ローカルデータでのみチューニングされたモデルは、分布がシフトしているデータサイト間で著しく劣った汎化性能を示し、リモート性能フィードバックの必要性を裏付けた。
• 多目的ベイズ最適化手法（特にfmo）は、単目的およびランダムサーチのベースラインと比較して、顕著に高いハイパーボリュームスコアを達成した。
• DRC（次元削減およびクラスタリング）シナリオでは、fmoはrand_moを大きく上回り、実験の半数以上で勝利した。
• SRS（ストラティファイドランダムスプリット）シナリオでは、よりバランスの取れたデータ分布のおかげで全手法の性能が向上したが、fmoが依然として優勢であった。
• ウィナーバスローザー図は、複数のデータセットおよびシナリオにわたり、fmoが他の候補者を統計的に有意に上回る一貫した優位性を示した。
• アルゴリズム的障害（例：GP回帰における数値的問題）のため、全実験の約5%が除外されたが、評価パイプラインの堅牢性を示している。