[論文レビュー] A Theoretical Framework for Target Propagation

Alexander Meulemans, Francesco S. Carzaniga+3 more|arXiv (Cornell University)|Jun 25, 2020

Wireless Signal Modulation Classification参考文献 61被引用数 32

ひとこと要約

この論文は、Target Propagation (TP) が可逆ネットワークにおいて Gauss-Newton–gradient のハイブリッドとして機能する理論的枠組みを示し、差分再構成損失（DRL）を導入して非可逆ネットワークでも GN のようなターゲットを可能にし、さらに強い実験的利得を持つ直接フィードバック変種を提案する。

ABSTRACT

The success of deep learning, a brain-inspired form of AI, has sparked interest in understanding how the brain could similarly learn across multiple layers of neurons. However, the majority of biologically-plausible learning algorithms have not yet reached the performance of backpropagation (BP), nor are they built on strong theoretical foundations. Here, we analyze target propagation (TP), a popular but not yet fully understood alternative to BP, from the standpoint of mathematical optimization. Our theory shows that TP is closely related to Gauss-Newton optimization and thus substantially differs from BP. Furthermore, our analysis reveals a fundamental limitation of difference target propagation (DTP), a well-known variant of TP, in the realistic scenario of non-invertible neural networks. We provide a first solution to this problem through a novel reconstruction loss that improves feedback weight training, while simultaneously introducing architectural flexibility by allowing for direct feedback connections from the output to each hidden layer. Our theory is corroborated by experimental results that show significant improvements in performance and in the alignment of forward weight updates with loss gradients, compared to DTP.

研究の動機と目的

• TPを勾配伝播(BP)とは異なる最適化フレームワークとして動機づけ、分析する。
• 可逆ネットワークにおけるTPをGauss-Newton–勾配降下のハイブリッドとして特徴づける。
• 非可逆ネットワークにおけるDifference Target Propagation (DTP) の限界を特定する。
• 非可逆ネットワークでGauss-Newtonターゲットを伝搬する新規なDifference Reconstruction Loss (DRL)を提案する。
• 直接フィードバック接続を導入し、DPTP系の変種を実験的に評価する。
• 順方向の重み更新と損失勾配およびGNターゲットとの整合性が改善されることを示す。

提案手法

• 可逆ネットワークの条件を形式化し、TPターゲット更新をGN様の変換として導出する（定理2）。
• 再構成誤差による非可逆ネットワークにおけるDTPの限界を示す（補題3）。
• Difference Reconstruction Loss(DRL) を導入して、GNターゲットを伝搬するようにフィードバック写像を訓練する（式(10)、定理4）。
• 出力 to 隠れ層への直接フィードバックを持つDirect Difference Target Propagation（DDTP）変種を提案（DDTP-linear、DDTP-RHL）。
• Gauss-Newton Target (GNT) 更新の理論的解釈と最小ノルム性を示す（定理5-6）。
• FCと小型CNNモデルを用いてMNIST, Frozen-MNIST, Fashion-MNIST, CIFAR-10でTP, DTP, DDTP変種を経験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 可逆ネットワークにおいてTPをGauss-Newton最適化と厳密に関連付けることができるか。
• RQ2 非可逆ネットワークでDTPが期待通りに機能しない理由は何か、これを改善できるか。
• RQ3 DRLは非可逆ネットワークでGN様のターゲットの伝搬を可能にするか。
• RQ4 直接フィードバック接続（DDTP変種）は学習信号と性能を改善するか。
• RQ5 GNターゲットベースの更新は収束とノルム最適性の観点でBPとどう比較されるか。

主な発見

MNIST	Frozen-MNIST	Fashion-MNIST	CIFAR10
BP	1.98±0.14%	4.39±0.13%	10.74±0.16%	45.60±0.50%
DDTP-linear	2.04±0.08%	6.42±0.17%	11.11±0.35%	50.36±0.26%
DDTP-RHL	2.10±0.14%	5.11±0.19%	11.53±0.31%	51.94±0.49%
DTPDRL	2.21±0.09%	6.10±0.17%	11.22±0.20%	50.80±0.43%
DDTP-control	2.51±0.08%	9.70±0.31%	11.71±0.28%	51.75±0.43%
DTP	2.39±0.19%	10.64±0.53%	11.49±0.23%	51.74±0.30%
DTP (pre-trained)	2.26±0.18%	9.31±0.40%	11.52±0.31%	52.20±0.50%
DFA	2.17±0.14%	/	11.26±0.25%	51.28±0.41%

• 可逆ネットワークにおけるTPターゲットはGauss-Newton–勾配降下ハイブリッド更新を実装する。
• DTPは再構成誤差（ターゲット伝搬を妨害する）により非可逆ネットワークで更新が効果的でない。
• 新規のDifference Reconstruction Loss(DRL) はフィードバック写像を訓練してGauss-Newtonターゲットを伝搬させ、DTPの限界を緩和する。
• 直接フィードバック接続（DDTP変種）は学習信号と損失勾配およびGNターゲットとの一致を改善する。
• DDTP-linear および関連変種はMNIST、Fashion-MNIST、CIFAR-10のテスト誤差で元のDTPおよび対照を上回る。DDTP-linear が総じて最も強いことが多い。
• GNT更新はGN方向と一致し、線形ネットワークでは最小ノルム更新を生み出す可能性がある（非線形ネットワークでは近似的な挙動）。