[論文レビュー] Difference Target Propagation

Dong‐Hyun Lee|arXiv (Cornell University)|Dec 23, 2014

Neural Networks and Applications参考文献 19被引用数 13

ひとこと要約

この論文は、勾配逆伝播とは異なり、自己符号化器を用いて各層のターゲットを計算する、生物学的に現実的な代替手法である差分ターゲット伝播（DTP）を導入する。DTPは自己符号化器の近似誤差を補正するための線形補正を適用し、離散的・確率的・連続的ユニットを有する深層ネットワークの有効な学習を可能にする。離散的MNISTネットワークにおいて、1.54%のテスト誤差を達成し、最先端の性能を実現した。

ABSTRACT

Back-propagation has been the workhorse of recent successes of deep learning but it relies on infinitesimal effects (partial derivatives) in order to perform credit assignment. This could become a serious issue as one considers deeper and more non-linear functions, e.g., consider the extreme case of nonlinearity where the relation between parameters and cost is actually discrete. Inspired by the biological implausibility of back-propagation, a few approaches have been proposed in the past that could play a similar credit assignment role. In this spirit, we explore a novel approach to credit assignment in deep networks that we call target propagation. The main idea is to compute targets rather than gradients, at each layer. Like gradients, they are propagated backwards. In a way that is related but different from previously proposed proxies for back-propagation which rely on a backwards network with symmetric weights, target propagation relies on auto-encoders at each layer. Unlike back-propagation, it can be applied even when units exchange stochastic bits rather than real numbers. We show that a linear correction for the imperfectness of the auto-encoders, called difference target propagation, is very effective to make target propagation actually work, leading to results comparable to back-propagation for deep networks with discrete and continuous units and denoising auto-encoders and achieving state of the art for stochastic networks.

研究の動機と目的

• 強い非線形性や離散的ユニット動作の下で、勾配逆伝播の生物学的非現実性および数学的脆弱性に対処すること。
• 正確な微分や対称的フィードバック重みに依存しない信用配分メカニズムの開発。
• ユニットが確率的ビットや離散値を介して通信する深層ネットワークの有効な学習の実現。
• ターゲット計算における自己符号化器の近似誤差に対して頑健な学習手法の提供。

提案手法

• 勾配逆伝播をターゲット伝播に置き換え、各層が損失勾配に基づいて活性化のターゲットを計算する。
• 各層で自己符号化器を用い、活性化からターゲットへの逆写像を学習することで、微分を必要としないフィードバックを実現する。
• 自己符号化器の逆写像の不完全性を補うための線形補正項を導入し、学習の安定性と精度を向上させる。
• 同じターゲット伝播の原則を自己符号化器の学習に適用し、勾配逆伝播を用いずに再構成損失を用いる。
• 各層を独立して更新するための局所的学習基準（例：デルタ則）を用いる。
• シグモイド確率を有する確率的バイナリユニットを用い、ベルヌーイ抽出によりスパikingニューロンの挙動をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 連続ユニットを有する深層フィードフォワードネットワークにおいて、自己符号化器フィードバックを用いたターゲット伝播は、勾配逆伝播と同等の性能を達成できるか？
• RQ2 差分ターゲット伝播は、バイナリ確率的ニューロンなどの離散的・確率的ユニットを有する深層ネットワークを効果的に学習できるか？
• RQ3 標準的な勾配逆伝播と比較して、ノイズ除去自己符号化器におけるターゲット伝播の性能はどの程度か？
• RQ4 勾配逆伝播を用いずに、ターゲット伝播を用いて表現を事前学習できるか？また、得られる特徴量はどれほど優れているか？
• RQ5 線形補正項（差分ターゲット伝播）は、単純なターゲット伝播に比べて収束性と精度を顕著に向上させるか？

主な発見

• 差分ターゲット伝播は、バイナリユニットを有する確率的ネットワークを用いてMNISTで1.54%のテスト誤差を達成し、ベースラインのストレートスラッシュ勾配推定器を上回った。
• この手法は確率的MNISTで最先端の性能を達成し、他の手法で報告された1.63%および1.71%を上回った。
• 線形補正を施したターゲット伝播（DTP）は、自己符号化器が不完全であっても安定的かつ効果的な学習を可能にし、近似誤差に対して頑健であることを示した。
• DTPで学習された自己符号化器は意味のあるストローク型フィルタを学習し、勾配逆伝播によるファインチューニング後に1.35%のテスト誤差を達成し、標準的な自己符号化器事前学習と同等の性能を示した。
• DTPは連続ユニットを有する深層ネットワークおよびノイズ除去自己符号化器において、RMSpropベースの勾配逆伝播と同等の性能を発揮した。
• 結果から、ターゲット伝播は離散的伝送を伴うネットワークの学習に実用的であり、生物学的に現実的な学習ルールとしての可能性を支持する。