[論文レビュー] FedHealth: A Federated Transfer Learning Framework for Wearable Healthcare

Yiqiang Chen, Jindong Wang+3 more|arXiv (Cornell University)|Jul 22, 2019

Privacy-Preserving Technologies in Data参考文献 40被引用数 45

ひとこと要約

FedHealthは連邦学習と転移学習を組み合わせ、 rawデータを共有せずに個人化されたウェアラブル医療モデルを訓練し、スマートフォンベースの活動認識で非連邦ベースラインより約5.3%高い精度を達成します。

ABSTRACT

With the rapid development of computing technology, wearable devices such as smart phones and wristbands make it easy to get access to people's health information including activities, sleep, sports, etc. Smart healthcare achieves great success by training machine learning models on a large quantity of user data. However, there are two critical challenges. Firstly, user data often exists in the form of isolated islands, making it difficult to perform aggregation without compromising privacy security. Secondly, the models trained on the cloud fail on personalization. In this paper, we propose FedHealth, the first federated transfer learning framework for wearable healthcare to tackle these challenges. FedHealth performs data aggregation through federated learning, and then builds personalized models by transfer learning. It is able to achieve accurate and personalized healthcare without compromising privacy and security. Experiments demonstrate that FedHealth produces higher accuracy (5.3% improvement) for wearable activity recognition when compared to traditional methods. FedHealth is general and extensible and has the potential to be used in many healthcare applications.

研究の動機と目的

• ウェアラブル医療のデータ分断をデータのプライバシーを保ちながら横断的に学習することで解決する。
• 転移学習を通じて個々のユーザーに対する個人化モデル学習を提供する。
• データプライバシーを維持しつつ知識を統合するための連邦学習を活用する。
• スマートフォンの活動認識での有効性を実証し、他の医療タスクへの拡張性を示す。

提案手法

• 公開データ/サーバデータを用いて標準的な深層学習目的でクラウド（サーバ）モデルf_Sを訓練する。
• 同型暗号を介してf_Sをユーザーに分配し、ユーザーは自分のデータで局所モデルf_uを訓練する。
• 暗号化されたユーザーモデルを統合してサーバーモデルf_S'を更新し、 rawデータを公開せずに知識を統合する。
• 下層を固定し上層を適応させる転移学習を行い、整合性損失（CORAL）を導入してドメインの乖離を低減する。
• 個人化の際にソース（サーバ）とターゲット（ユーザー）の重み間の2次統計を整合させるため CORAL 損失を使用する。
• 新規ユーザデータの到来に応じて反復的・継続的な更新を Outline し、個人化を徐々に改善する。

Figure 1: The data islanding and personalization problems in wearable healthcare

実験結果

リサーチクエスチョン

• RQ1 ウェアラブル医療におけるプライバシーを保ちながらデータ分断を解消するために、連邦学習と転移学習をどのように組み合わせることができるか。
• RQ2 クラウドモデルを活用して、 rawデータを共有することなく個々のユーザーに対する個人化モデルを提供・ refinedできるか。
• RQ3 スマートフォンベースの活動認識に対して連邦転移学習を適用した場合の認識精度への影響は、従来法と比較してどうなるか。

主な発見

被験者	KNN	SVM	RF	NoFed	FedHealth
P1	83.8	81.9	87.5	94.5	98.8
P2	86.5	96.9	93.3	94.5	98.8
P3	92.2	97.2	88.9	93.4	100.0
P4	83.1	95.9	91.0	95.5	99.4
P5	90.5	98.6	91.6	92.6	100.0

• FedHealthはスマートフォンの活動認識実験において全被験者の中で最も高い精度を示す。
• NoFed設定（サーバーモデルのみ）と比較して、FedHealthは平均精度を約5.3%向上させる。
• FedHealthは従来法（KNN、SVM、RF）より全被験者で上回る。
• FedHealth内の転移学習は非転移ベースラインより平均で約4ポイントの性能向上をもたらす。
• 本フレームワークは別の転移学習戦略（ファインチューニング、MMD）での拡張をサポートし、効果を維持する。
• 連邦学習と暗号化されたパラメータ共有はプライバシーを維持しつつ知識統合を可能にする。

Figure 2: Overview of the FedHealth framework. “User” represents organizations