[論文レビュー] Assisted Learning: A Framework for Multi-Organization Learning

Xun Xian, Xinran Wang+2 more|arXiv (Cornell University)|Apr 1, 2020

Data Stream Mining Techniques参考文献 72被引用数 16

ひとこと要約

本論文では、機密データ、モデル、学習タスクを共有せずに、組織同士が共同で教師あり学習の性能を向上させることを可能にするプライバシー保護型フレームワーク「Assisted Learning」を紹介する。繰り返しのラウンドにおいて、非機密的でタスク固有の統計情報のみを交換することで、線形モデル、木ベースのモデル、ニューラルネットワークを含む多様なモデルにおいて、MIMIC-IIIなどの実世界の医療ベンチマークで中央集権的学習とほぼ同等の性能（近似オラクル性能）を達成する。

ABSTRACT

In an increasing number of AI scenarios, collaborations among different organizations or agents (e.g., human and robots, mobile units) are often essential to accomplish an organization-specific mission. However, to avoid leaking useful and possibly proprietary information, organizations typically enforce stringent security constraints on sharing modeling algorithms and data, which significantly limits collaborations. In this work, we introduce the Assisted Learning framework for organizations to assist each other in supervised learning tasks without revealing any organization's algorithm, data, or even task. An organization seeks assistance by broadcasting task-specific but nonsensitive statistics and incorporating others' feedback in one or more iterations to eventually improve its predictive performance. Theoretical and experimental studies, including real-world medical benchmarks, show that Assisted Learning can often achieve near-oracle learning performance as if data and training processes were centralized.

研究の動機と目的

• 機密情報の共有が許可されないプライバシー感受性の高い組織間での共同学習の課題に対処すること。
• 中央集権的な調整なしに、繰り返しの支援を通じて各組織が自身の予測性能を向上させる分散型フレームワークを設計すること。
• すべての機密情報が隔離された状態でも、中央集権的データ統合の性能に近い学習性能を達成できるようにすること。
• 実世界の応用において、多様で非線形的かつ非パラメトリックな学習タスクに本フレームワークの有効性を示すこと。

提案手法

• 組織間では、生データやモデルではなく、非機密的でタスク固有の統計情報（例：残差や勾配）のみを繰り返しのラウンドで交換する。
• 各組織は他者のフィードバックを活用して自身のローカルモデルを改善し、次第に中央集権的モデルの性能に近づく。
• 本フレームワークは線形モデルおよび非線形モデルの両方をサポートしており、リッジ回帰、決定木、ランダムフォレスト、勾配ブースティング、ニューラルネットワークを含む。
• 残差に基づくフィードバック機構を用いて、他者のデータにアクセスしているかのような効果を再現する形で反復的改善を促進する。
• 既存の機械学習パイプラインと互換性があるように設計されており、下位のアルゴリズムに変更を加える必要がない。
• 過学習を避けるために、性能の監視に基づいてモデル選択と反復回数の停止を制御し、最適なラウンド数は経験的に決定される。

実験結果

リサーチクエスチョン

• RQ1 機密データ、モデル、学習タスクを共有せずに、組織は教師あり学習における予測性能を向上させることができるか？
• RQ2 複数の組織からの繰り返し的でプライバシー保護型のフィードバックは、どのように中央集権的学習に近い性能を達成するのか？
• RQ3 どのような非機密的でタスク固有の統計情報が、プライバシーを損なわずに効果的な共同学習を可能にするか？
• RQ4 本フレームワークは、多様で非線形的かつ非パラメトリックな学習モデルにおいて、どのように性能を発揮するか？
• RQ5 本フレームワークは、実世界のプライバシー制約のある環境において、標準的なアンサンブル手法（例：スタッキング）を上回る性能を示せるか？

主な発見

• MIMIC-IIIベンチマーク（入院期間予測）において、Assisted Learningは線形回帰およびリッジ回帰モデルを用いて、オラクル性能に0.01～0.05の差で近い平均絶対偏差（MAD）を達成した。
• 決定木およびアンサンブル手法では、初期段階でテスト誤差がほぼオラクルレベルまで低下したが、反復回数が増えるとわずかに上昇し、反復回数とモデルの複雑さのトレードオフが顕在化した。
• 2層のニューラルネットワークでは、オラクルに比べてわずかに収束が遅かったが、最適な予測精度において差はほとんどなかった。
• スタッキング手法と比較すると、Friedman1およびMIMIC3ベンチマークの両方で、テストしたすべてのモデル組み合わせにおいてAssisted Learningが著しく優れていた。
• MIMIC3データセットでは、メタモデルに勾配ブースティングを使用した場合、スタッキングのMAD 121.8をAssisted Learningで108.8にまで低下させた。
• 非パラメトリックおよびディープラーニングアーキテクチャを含む、すべてのテスト済みモデルで近似オラクル性能を達成し、広範な適用可能性を示した。