[論文レビュー] Trends and Advancements in Deep Neural Network Communication

Felix Sattler, Thomas Wiegand+1 more|arXiv (Cornell University)|Mar 6, 2020

Adversarial Robustness in Machine Learning参考文献 91被引用数 4

ひとこと要約

この論文は、特にモバイルおよびIoTシステムを対象として、通信効率の良いディスクリートな深層ニューラルネットワーク（DNN）学習および推論、特にデータに知能を移行させることで、モデルパラメータの交換による通信効率の向上を検討する。圧縮技術、収束の課題、プライバシーと耐性のトレードオフを調査し、フェデレーテッドラーニング、オンデバイス推論、モデルトランスファーにおける通信効率の統合的でない研究を提唱する。

ABSTRACT

Due to their great performance and scalability properties neural networks have become ubiquitous building blocks of many applications. With the rise of mobile and IoT, these models now are also being increasingly applied in distributed settings, where the owners of the data are separated by limited communication channels and privacy constraints. To address the challenges of these distributed environments, a wide range of training and evaluation schemes have been developed, which require the communication of neural network parametrizations. These novel approaches, which bring the "intelligence to the data" have many advantages over traditional cloud solutions such as privacy-preservation, increased security and device autonomy, communication efficiency and high training speed. This paper gives an overview over the recent advancements and challenges in this new field of research at the intersection of machine learning and communications.

研究の動機と目的

• 中央集権的なクラウドベースの機械学習（Cloud ML）の限界、特にプライバシーリスク、データ所有権の問題、モバイルおよびIoT環境における通信非効率性に対処する。
• データの局所性を保ちながら帯域幅を削減するため、生データではなくモデルを送信する新しいパラダイム「エムベッデッドML」の必要性を特定する。
• 分散DNN学習および推論における通信オーバーヘッドを低減するため、ニューラルデータ圧縮技術を体系的に分析する。
• 非i.i.d.データ下での収束、モデル更新によるプライバシー漏洩、通信効率の高い環境下での敵対的攻撃に対する耐性といった、主な課題を検討する。
• 特に5GおよびIoTエコシステムにおける実世界の展開を念頭に、分散ディープラーニングにおける通信効率、プライバシー、耐性の統合的でない研究を提唱する。

提案手法

• フェデレーテッドラーニング、オンデバイス推論、モデルトランスファー、共同学習の4つの主要なDNN通信設定を分類・比較し、すべてがニューラルネットワークパラメータの交換に焦点を当てる。
• 量子化、プルーニング、知識蒸留を含む、さまざまなモデル圧縮技術をレビューし、送信されるDNNパラメータのサイズを小さくする。
• 非i.i.d.（独立同一分布でない）データ仮定下での通信圧縮を伴う分散学習の収束特性を分析する。
• 微分プライバシー、安全なマルチパーティ計算、信頼実行環境といったプライバシー保護メカニズムを評価し、それらを圧縮手法と統合する方法を検討する。
• 同期型対比非同期型学習の同期戦略を評価し、収束速度およびモデル更新の陳腐化に与える影響を検証する。
• MPEG Part 17などの標準化が、相互運用性のあるニューラルデータ伝送およびエムベッデッドMLの大規模な展開を可能にする役割を強調する。

実験結果

リサーチクエスチョン

• RQ1 モデルの精度や収束に悪影響を及げることなく、分散ディープラーニングにおける通信効率を最大限に高めることは可能か？
• RQ2 フェデレーテッドラーニングおよびオンデバイスラーニングにおいて、モデル圧縮、プライバシー保証、耐性の間にはどのようなトレードオフがあるか？
• RQ3 非i.i.d.データ分布は、フェデレーテッドラーニングにおける圧縮通信の収束にどのように影響を与えるか？
• RQ4 微分プライバシーのようなプライバシー保護技術を、ニューラルデータ圧縮と効果的に組み合わせることは可能か、その範囲はどの程度か？
• RQ5 通信プロトコルおよび標準化（例：MPEG Part 17）は、スケーラブルで相互運用性のあるエムベッデッドMLシステムの実現にどのような役割を果たすか？

主な発見

• 特に帯域幅が限られ、プライバシー制約があるモバイルおよびIoT環境では、ニューラルネットワークのパrametrization通信が、分散AIにおける主なボトルネックとなっている。
• 量子化やプルーニングといったモデル圧縮技術は、顕著に送信されるDNNパラメータのサイズを削減し、精度の大きな損失なしに通信効率を向上させる。
• 通信圧縮を伴う分散学習の収束は、データの非i.i.d.性に敏感であり、圧縮が適用された場合、既存の理論的保証は弱くなる傾向にある。
• 微分プライバシーや安全計算のようなプライバシー保護手法は、モデル更新を通じて情報漏洩を引き起こす可能性があり、圧縮と統合するにあたって注意深い設計が不可欠である。
• 非同期学習は遅延の原因となるストラグルの影響を回避できるが、陳腐化の増加を引き起こし、特に学習後期には収束を遅くする可能性がある。
• MPEG Part 17のような標準化活動が、ニューラルデータ伝送の相互運用性フォーマットを定義する形で登場しており、エムベッデッドMLの広範な展開を可能にしている。