[論文レビュー] Application of federated learning in manufacturing

Vinit Hegiste, Tatjana Legler+1 more|arXiv (Cornell University)|Aug 9, 2022

Privacy-Preserving Technologies in Data参考文献 24被引用数 4

ひとこと要約

本稿では、複数の工場が生産データを共有せずに共同で深層学習モデルを訓練するためのフェデレーテッドラーニング（FL）を提案する。ImageNetの重みで事前学習されたVGG-19モデルを微調整し、クライアント間でモデル重みのみを集約することで、5回の通信ラウンドで欠陥のあるUSB部品の分類において高い精度を達成した。これは、ランダムな初期化からの学習を上回り、プライバシーを守る産業用AIに有効であることを示している。

ABSTRACT

A vast amount of data is created every minute, both in the private sector and industry. Whereas it is often easy to get hold of data in the private entertainment sector, in the industrial production environment it is much more difficult due to laws, preservation of intellectual property, and other factors. However, most machine learning methods require a data source that is sufficient in terms of quantity and quality. A suitable way to bring both requirements together is federated learning where learning progress is aggregated, but everyone remains the owner of their data. Federate learning was first proposed by Google researchers in 2016 and is used for example in the improvement of Google's keyboard Gboard. In contrast to billions of android users, comparable machinery is only used by few companies. This paper examines which other constraints prevail in production and which federated learning approaches can be considered as a result.

研究の動機と目的

• 生産データを共有しないで共同モデル学習を可能にすることで、産業用機械学習におけるデータの機微性と知的財産の制約に対処すること。
• 限られた非一様な欠陥データを伴う実世界の製造業における品質検査シナリオにおいて、フェデレーテッドラーニングの実現可能性と性能を評価すること。
• 低データ環境下の産業的文脈におけるフェデレーテッドトレーニングにおいて、ランダム初期化と事前学習済み重みの両方の初期化戦略を比較すること。
• 多様なクライアントのデータ分布にわたって、グローバルに集約されたモデルが良好に一般化できるかどうかを示すこと。
• 3つのクライアントで構成される実世界の欠陥USB部品データセットを用いて、フェデレーテッドラーニングの有効性を検証すること。

提案手法

• フェデレーテッドラーニングは、3つのクライアント工場がそれぞれ独自のUSB部品画像データセットを持つ中央サーバーを介して実装された。
• VGG-19アーキテクチャを用い、ImageNetで事前学習された畳み込み層による特徴抽出と、ローカルの欠陥データに対する最終分類器ヘッドの微調整を実施した。
• 各クライアントのデバイス上でローカルにモデル重みを更新し、通信ラウンド（CR）ごとに中央サーバーに送信した。集約アルゴリズムにはFedAvgが使用された。
• 各CRでクライアントのモデル重みを平均化することでグローバルモデルを再構築した。これにより、生画像が送信されないため、データの機微性が保証された。
• クライアントはローカルデータを用いてモデルを学習し、各クライアントのトレーニングデータに含まれない第三者のUSBを含む外部テストセットで性能を評価した。
• ランダム初期化からの学習と事前学習済みImageNet重みからの学習を比較し、収束速度と一般化性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 欠陥データが乏しく、工場間で非一様に分布する状況下でも、フェデレーテッドラーニングが高精度な品質検査モデルを効果的に学習できるか。
• RQ2 産業用欠陥検出におけるフェデレーテッドラーニングにおいて、事前学習済みImageNet重みの使用が収束速度とモデル性能に与える影響は。
• RQ3 グローバルに集約されたフェデレーテッドモデルが、どの程度、どのクライアントのトレーニングデータにも含まれない未観測の欠陥タイプや第三者製品に対しても一般化できるか。
• RQ4 通信ラウンド数が、クライアント1人あたりのデータが限られた状況下でのグローバルモデルの精度と耐性に与える影響は。
• RQ5 プライバシーを守るという点で、フェデレーテッドラーニングは、中央集権的トレーニングを上回るか、同等またはより優れた一般化性能を維持できるか。

主な発見

• ImageNet重みで初期化された微調整済みVGG-19モデルは、わずか5回の通信ラウンドで欠陥分類において高い精度を達成し、ランダム初期化からの学習を著しく上回った。
• グローバルフェデレーテッドモデルは、どのクライアントのトレーニングデータにも含まれない第三者のUSB部品に対しても、高い信頼性で隠れた欠陥を正しく分類できた。
• ランダム初期化からの学習では、少なくとも20回の通信ラウンドを経てやっと意味のある精度の向上が見られ、外部データでは依然として性能が低かった。
• フェデレーテッドラーニングで学習されたグローバルモデルは、ライブ分類において中央集権的トレーニングのVGGモデルよりもわずかに高い信頼性で全欠陥を検出でき、優れた一般化性能を示した。
• 事前学習済み重みの使用により、必要な通信ラウンド数が削減され、収束が改善された。これは、データが限られる産業的文脈において実用的導入に不可欠であることが示された。
• フェデレーテッドアプローチは、生画像が一切共有されないため、データの機微性を効果的に保護しており、すべての学習がクライアントデバイス上でローカルに実行された。