[論文レビュー] Target Propagation

Dong‐Hyun Lee, Saizheng Zhang+3 more|arXiv (Cornell University)|Dec 23, 2014

Neural Networks and Applications被引用数 8

ひとこと要約

この論文は、各層でオートエンコーダーを用いて計算されるターゲットにバックプロパゲーションの勾配を置き換えることで、生物学的に現実的な信用配分手法を提案する。差分ターゲット伝搬を導入し、オートエンコーダーの不完全性を是正することで、連続的および離散的ネットワーク、すなわち確率的およびノイズ除去オートエンコーダー設定を含め、バックプロパゲーションと同等の性能を達成する。

ABSTRACT

Back-propagation has been the workhorse of recent successes of deep learning but it relies on infinitesimal effects (partial derivatives) in order to perform credit assignment. This could become a serious issue as one considers deeper and more non-linear functions, e.g., consider the extreme case of nonlinearity where the relation between parameters and cost is actually discrete. Inspired by the biological implausibility of back-propagation, a few approaches have been proposed in the past that could play a similar credit assignment role. In this spirit, we explore a novel approach to credit assignment in deep networks that we call target propagation. The main idea is to compute targets rather than gradients, at each layer. Like gradients, they are propagated backwards. In a way that is related but different from previously proposed proxies for back-propagation which rely on a backwards network with symmetric weights, target propagation relies on auto-encoders at each layer. Unlike back-propagation, it can be applied even when units exchange stochastic bits rather than real numbers. We show that a linear correction for the imperfectness of the auto-encoders, called difference target propagation, is very effective to make target propagation actually work, leading to results comparable to back-propagation for deep networks with discrete and continuous units and denoising auto-encoders and achieving state of the art for stochastic networks.

研究の動機と目的

• 深層学習におけるバックプロパゲーションの生物学的非現実性を是正するため、より現実的な信用配分メカニズムを提案すること。
• 微分不可能または離散的ユニットを有するネットワークにおいて、標準的なバックプロパゲーションが失敗する状況でも効果的な学習を可能にすること。
• 実数値の信号の代わりにバイナリービットをやり取りする確率的ユニットを用いたネットワークでも動作する手法を開発すること。
• オートエンコーダーの近似誤差を補正する線形補正項を導入することで、学習の安定性と性能を向上させること。
• 確率的ネットワークにおいて最先端の結果を達成するとともに、標準的な深層ネットワークではバックプロパゲーションと同等の性能を発揮すること。

提案手法

• 各層でオートエンコーダーを用いて、前の層の活性化を再構築することでターゲットを計算する。
• これらのターゲットがネットワークを後退的に伝搬され、バックプロパゲーションで用いられる勾配信号に置き換えられる。
• オートエンコーダー再構築誤差を是正するための差分ターゲット伝搬ルールを導入し、収束性と精度を向上させる。
• 対称的重みや微分可能なユニットを必要としないため、確率的または離散的ユニットの使用が可能になる。
• 逆伝播では、オートエンコーダーのデコーダーを用いてターゲットを生成し、それを前向き重みの更新に使用する。
• ノイズ除去オートエンコーダーと互換性があり、連続的および離散的活性化関数の両方へ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 微分不可能なユニットや確率的ユニットを有するネットワークにおいて、勾配に依存せずに信用配分を達成できるか？
• RQ2 無限小の勾配を必要としない生物学的に現実的な学習ルールを設計できるか？
• RQ3 オートエンコーダーが深層ネットワーク学習における勾配の有効な代理として機能できるか？
• RQ4 オートエンコーダーの不完全性に対する補正項が学習性能を顕著に向上させるか？
• RQ5 ターゲット伝搬が、さまざまな活性化関数およびノイズモデルを有する深層ネットワークにおいて、バックプロパゲーションと同等の性能を達成できるか？

主な発見

• 差分ターゲット伝搬を用いたターゲット伝搬は、連続的および非線形ユニットを有する深層ネットワークにおいて、標準的なバックプロパゲーションと同等の性能を達成する。
• この手法は、微分不可能性のためバックプロパゲーションが失敗するバイナリービットをやり取りする確率的ユニットを有する深層ネットワークを効果的に学習可能である。
• 差分ターゲット伝搬は、オートエンコーダーの近似誤差を効果的に是正し、安定的かつ正確な学習を可能にする。
• このアプローチは、確率的ネットワークにおいて最先端の性能を達成し、既存の勾配フリー代替手法を上回る。
• ノイズ除去オートエンコーダー設定へも一般化でき、入力にノイズが加わっても強い性能を維持する。
• ReLUやシグモイドユニットを含む多様なアーキテクチャおよび活性化関数へ対応でき、高い頑健性を示す。