[論文レビュー] Understanding Synthetic Gradients and Decoupled Neural Interfaces

Wojciech Marian Czarnecki, Grzegorz Świrszcz+4 more|arXiv (Cornell University)|Mar 1, 2017

Neural Networks and Applications参考文献 11被引用数 28

ひとこと要約

本稿は、合成勾配（SGs）および分離型ニューラルインターフェース（DNIs）を調査し、線形およびディープ線形モデルにおいてSGsが臨界点と収束を保持することを示している。同時に、同期的でない、ロックフリーの学習を可能にする。機能的性能が同一であるにもかかわらず、バックプロパゲーションとは対照的に、SGsで学習されたネットワークは顕著に異なる内部表現を形成する。著者らは、フィードバックアライメントや直接的フィードバックアライメントといった手法を、勾配予測に基づく一貫したフレームワークの下で統一する。

ABSTRACT

When training neural networks, the use of Synthetic Gradients (SG) allows layers or modules to be trained without update locking - without waiting for a true error gradient to be backpropagated - resulting in Decoupled Neural Interfaces (DNIs). This unlocked ability of being able to update parts of a neural network asynchronously and with only local information was demonstrated to work empirically in Jaderberg et al (2016). However, there has been very little demonstration of what changes DNIs and SGs impose from a functional, representational, and learning dynamics point of view. In this paper, we study DNIs through the use of synthetic gradients on feed-forward networks to better understand their behaviour and elucidate their effect on optimisation. We show that the incorporation of SGs does not affect the representational strength of the learning system for a neural network, and prove the convergence of the learning system for linear and deep linear models. On practical problems we investigate the mechanism by which synthetic gradient estimators approximate the true loss, and, surprisingly, how that leads to drastically different layer-wise representations. Finally, we also expose the relationship of using synthetic gradients to other error approximation techniques and find a unifying language for discussion and comparison.

研究の動機と目的

• 合成勾配（SGs）および分離型ニューラルインターフェース（DNIs）がニューラルネットワーク学習における機能的・表現的・最適化ダイナミクスに与える影響を理解すること。
• SGsがフィードフォワードネットワークにおける元の最適化問題の臨界点を変化させるかどうかを特定すること。
• 単純および複雑なモデルにおけるSGベースの学習の収束特性を調査すること。
• SGsで学習されたネットワークと標準的なバックプロパゲーションで学習されたネットワークの内部表現および機能的分解を比較すること。
• フィードバックアライメント、直接的フィードバックアライメント、キックバックといった多様な誤差近似手法を、勾配予測に基づく一貫したフレームワーク内で統一すること。

提案手法

• 著者らは、局所的情報を用いて損失の真の勾配を予測する合成勾配モジュールを導入し、完全なバックプロパゲーションを待たずに非同期的な重み更新を可能にする。
• 合成勾配ネットワークを主ネットワークと同時に学習させ、勾配予測誤差を別途定義した損失関数で最適化する。
• 理論的分析のため、特定の仮定の下で線形およびディープ線形モデルにおいて学習システムの収束を証明する。
• 実験的に、深層フィードフォワードネットワークにおける表現学習へのSGsの影響を評価し、層ごとの活性化および機能的分解を比較する。
• さまざまな誤差近似手法（FA、DFA、KB）を、異なるターゲット関数とパrametrizationを持つ合成勾配モデルの特殊ケースとして表現することで、統一的なフレームワークを形式化する。
• SGモジュールが真の負の勾配を予測するようにモデル化することで、バックプロパゲーションを特別なケースとして統合する。

実験結果

リサーチクエスチョン

• RQ1 合成勾配を導入することで、ニューラルネットワークにおける元の最適化問題の臨界点が変化するか？
• RQ2 真の勾配の代わりに合成勾配を使用した場合、特に線形およびディープ線形モデルにおいて、学習システムの収束を証明できるか？
• RQ3 SGsで学習されたネットワークの内部表現および機能的分解は、標準的なバックプロパゲーションで学習されたものとどのように異なるか？
• RQ4 合成勾配とフィードバックアライメント、直接的フィードバックアライメント、キックバックといった他の誤差近似手法との関係は何か？
• RQ5 勾配予測に基づく一貫した理論的フレームワーク内で、これらの多様な手法を統一できるか？

主な発見

• 合成勾配を使用しても、元の最適化問題の臨界点は保持されるが、新たな臨界点が導入される可能性があるため、SGsは一般的な正則化とは異なる役割を果たす。
• 線形およびディープ線形モデルにおいて、適切な条件下で、合成勾配を用いた学習システムが真の勾配を用いた場合と類似した解に収束することを証明した。
• 機能的性能が同一であるにもかかわらず、SGsで学習されたネットワークはバックプロパゲーションで学習されたものとは質的に異なる内部表現を形成するため、機能的分解に差が生じる。
• 合成勾配の使用により、モジュールが非同期的かつ独立して更新可能なロックフリーの学習が可能になる。これは、フィードバックアライメントや関連手法には見られない特性である。
• 異なるターゲット関数とパrametrizationを持つ合成勾配モデルの特殊ケースとして、フィードバックアライメント、直接的フィードバックアライメント、キックバック、および標準的なバックプロパゲーションを統一的なフレームワークに統合した。
• 合成勾配損失の勾配を更新ルールに含めること（SG+prop）により、学習が著しく安定化する。これは、良い勾配予測が良い損失および出力予測を意味することを示唆しており、完全なバックプロパゲーションがなくても成立する。