[論文レビュー] Deriving Differential Target Propagation from Iterating Approximate Inverses

Yoshua Bengio|arXiv (Cornell University)|Jul 29, 2020

Face and Expression Recognition参考文献 23被引用数 18

ひとこと要約

この論文は、各層の前向き伝搬の逆関数を学習された自己符号化器を用いて反復的かつ近似的に推定することで、重み更新のためのターゲットを生成する、生物学的に妥当な学習ルール、微分的ターゲット伝搬を提案する。この手法は、行列の逆行列を明示的に計算しないでガウス・ニュートン最適化を暗黙的に行い、自己符号化器の再構成誤差が小さい場合には指数関数的に収束する。また、影響力の高い層を優先するための正規化スキームを導入する。

ABSTRACT

We show that a particular form of target propagation, i.e., relying on learned inverses of each layer, which is differential, i.e., where the target is a small perturbation of the forward propagation, gives rise to an update rule which corresponds to an approximate Gauss-Newton gradient-based optimization, without requiring the manipulation or inversion of large matrices. What is interesting is that this is more biologically plausible than back-propagation yet may turn out to implicitly provide a stronger optimization procedure. Extending difference target propagation, we consider several iterative calculations based on local auto-encoders at each layer in order to achieve more precise inversions for more accurate target propagation and we show that these iterative procedures converge exponentially fast if the auto-encoding function minus the identity function has a Lipschitz constant smaller than one, i.e., the auto-encoder is coarsely succeeding at performing an inversion. We also propose a way to normalize the changes at each layer to take into account the relative influence of each layer on the output, so that larger weight changes are done on more influential layers, like would happen in ordinary back-propagation with gradient descent.

研究の動機と目的

• 各層で学習された逆関数を用いることで、重み伝搬問題を回避する生物学的に妥当なバックプロパゲーションの代替手法を開発すること。
• 前向き伝搬と後向き伝搬における非線形関数の不一致および重みの対称的共有というバックプロパゲーションの生物学的非妥当性を是正すること。
• ターゲット伝搬の理論的基盤を提供し、明示的な行列逆行列計算を伴わずにガウス・ニュートン最適化を近似することを示すこと。
• 局所的な自己符号化器に基づく反復フィードバックループを用いてターゲット伝搬の精度を向上させ、収束保証を提供すること。
• 層の影響度に基づいて重み更新を正規化し、標準的なバックプロパゲーションにおける勾配降下の挙動を模倣すること。

提案手法

• 各層で局所的な自己符号化器を用いて前向き伝搬の逆関数を近似し、フィードバックターゲットの計算を可能にする。
• 反復的フィードバック更新を用いてターゲットを精緻化し、自己符号化器の再構成誤差（恒等写像に対する相対誤差）のリプシッツ定数が 1 より小さい場合には指数関数的に収束する。
• 反復的フィードバックプロセスから導出された更新ルールは、明示的なヘッセ行列やヤコビ行列の計算を避けるガウス・ニュートン近似ステップと数学的に同等である。
• データ駆動の活性化とターゲット駆動のフィードバックのバランスを取るためにパラメータ γ を用いた正規化スキームを導入し、安定性と収束性を向上させる。
• フィードバックユニットがターゲットと現在の前向き活性化の両方に近づくように緩和機構を適用し、γ がそのトレードオフを制御する。
• 下位層も上位層の逆関数がより簡単になるように最適化するグローバルフィードバックループの拡張を提案し、ネットワーク全体の整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク層の反復的かつ近似的な逆関数は、深層ネットワークにおけるターゲット伝搬に対して安定的で効率的な手法を提供できるか？
• RQ2 提案手法は、明示的な行列逆行列計算を要せず、ガウス・ニュートン最適化を暗黙的に行うことができるか？
• RQ3 反復的フィードバックプロセスはどのような条件下で収束し、収束速度はどの程度か？
• RQ4 各層の最終出力への影響度をどのように正規化すれば、意味のある重み更新が得られるか？
• RQ5 フィードバックメカニズムをグローバルに拡張することで、層間の整合性を高め、時間的信用配分を支援できるか？

主な発見

• 提案された微分的ターゲット伝搬手法は、自己符号化器の再構成誤差（恒等写像に対する相対誤差）のリプシッツ定数が 1 より小さい場合には指数関数的に収束する。
• 反復的フィードバックプロセスから導出された更新ルールは、数学的にガウス・ニュートン更新の近似と同等であり、標準的な SGD よりも強い最適化手続きを提供する可能性がある。
• この手法は、大きな行列の保存や逆行列計算を必要としないため、第二階層最適化を近似するにもかかわらず計算的に効率的である。
• パラメータ γ を用いた正規化により、影響力の高い層でより大きな重み更新が行われるようになり、バックプロパゲーションにおける勾配降下の挙動を模倣する。
• フィードバックメカニズムは、元の前向き活性化に近い解を好む正則化の一種と解釈でき、安定性を向上させる。
• 注意メカニズムを用いて関連する過去の出来事を選択することで、時間的信用配分への道筋を示唆する。これは疎な注意的バックトラッキングに類似している。