[論文レビュー] Reliable Federated Learning for Mobile Networks

Jiawen Kang, Zehui Xiong+4 more|arXiv (Cornell University)|Oct 14, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用数 6

ひとこと要約

本稿では、モバイルネットワークにおけるフェデレーテッドラーニングのための信頼度ベースのワーカー選択方式を提案する。マルチウェイト主観論理モデルとコンsortiumブロックチェーンを活用し、改ざんに強く、分散型の信頼度管理を実現する。この手法により、信頼性の低いまたは悪意あるワーカーを除外することで学習精度が向上し、シミュレーションではポisoning攻撃下で保護されていない手法と比較して最大7.7%高い精度を達成する。

ABSTRACT

Federated learning, as a promising machine learning approach, has emerged to leverage a distributed personalized dataset from a number of nodes, e.g., mobile devices, to improve performance while simultaneously providing privacy preservation for mobile users. In the federated learning, training data is widely distributed and maintained on the mobile devices as workers. A central aggregator updates a global model by collecting local updates from mobile devices using their local training data to train the global model in each iteration. However, unreliable data may be uploaded by the mobile devices (i.e., workers), leading to frauds in tasks of federated learning. The workers may perform unreliable updates intentionally, e.g., the data poisoning attack, or unintentionally, e.g., low-quality data caused by energy constraints or high-speed mobility. Therefore, finding out trusted and reliable workers in federated learning tasks becomes critical. In this article, the concept of reputation is introduced as a metric. Based on this metric, a reliable worker selection scheme is proposed for federated learning tasks. Consortium blockchain is leveraged as a decentralized approach for achieving efficient reputation management of the workers without repudiation and tampering. By numerical analysis, the proposed approach is demonstrated to improve the reliability of federated learning tasks in mobile networks.

研究の動機と目的

• モバイルネットワークにおけるフェデレーテッドラーニングにおける信頼性の低いまたは悪意あるワーカーの更新の課題に対処すること。
• トレーニング中に信頼度が低いまたは信頼できないワーカーを特定・除外することで、モデルの精度を向上させること。
• モバイルデバイスワーカーの安全で分散型かつ否認不能な信頼度管理を可能にすること。
• 相互作用頻度、タイムライン、行動履歴を考慮した評価が可能な信頼度モデルを設計すること。
• さまざまな攻撃シナリオおよびしきい値における信頼度ベースのワーカー選択の有効性を評価すること。

提案手法

• 履歴的相互作用、頻度、タイムラインに基づいてワーカー信頼度を計算するためのマルチウェイト主観論理モデル（MSL）を導入する。
• 改ざんに強く、否認不能な方法で信頼度値を格納・管理するためにコンsortiumブロックチェーンを採用する。
• エッジノード（例：レーンサイドユニット、基地局）を事前に選定したマイナーとして採用し、ブロックチェーンを効率的に維持する。
• 信頼度しきい値を適用して、一定の信頼度未満のワーカーを参加から除外する。
• MSLとTSL、ATV方式を比較し、ネガティブイベントへの感受性および歴史的行動への配慮を評価する。
• EMD、攻撃者数、攻撃強度といった指標を用いて、数値シミュレーションにより手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 動的モバイル環境下におけるフェデレーテッドラーニングにおいて、信頼性を反映するようにワーカー信頼度を効果的に計算する方法は何か？
• RQ2 信頼度しきい値の選択が、フェデレーテッドラーニングモデルの精度および信頼性に与える影響は何か？
• RQ3 提案されたマルチウェイト主観論理モデルは、既存の信頼度モデルと比較して、悪意あるまたは信頼性の低いワーカーの検出にどの程度優れているか？
• RQ4 ブロックチェーンベースの信頼度管理は、ワーカー選択における改ざんおよび否認をどの程度防止できるか？
• RQ5 データポイズニングの強度や攻撃者の数といった要因が、信頼度ベースのフィルタリングがある状況での学習精度に与える影響は何か？

主な発見

• 低信頼度しきい値下で、提案されたMSL方式はATVおよびTSL方式よりも高い学習精度を達成しており、特に意図しない誤りを示すワーカーを除外する場合に顕著である。
• 信頼度しきい値が0.45を超えると、すべての方式（MSL、TSL、ATV）が同等の性能を示し、高強度の攻撃下でも悪意あるワーカーの効果的検出が可能であることを示している。
• MSL方式は、相互作用頻度とタイムラインを考慮しているため、ATVおよびTSL方式と比較して、悪意あるワーカーの信頼度低下がより急激かつ顕著である。
• 2名の攻撃者の場合、EMD=1.6および攻撃強度=0.9の条件下で学習精度は76.12%に低下し、1名の攻撃者シナリオと比較して7.7%低下している。
• 信頼度防御のない方式では、ワーカーが悪意ある行動を示しても信頼度が線形に上昇し続けるため、信頼度ベースのフィルタリングの必要性が明確に示された。
• ATV方式は現在のネガティブイベントに敏感であるが、歴史的良い行動を無視するため、誤検出率が高く、誠実なワーカーの参加意欲を低下させる。