[論文レビュー] The HSIC Bottleneck: Deep Learning without Back-Propagation

Wan-Duo Kurt Ma, J. P. Lewis+1 more|arXiv (Cornell University)|Aug 5, 2019

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、ヒルバート＝シュミット独立性基準（HSIC）を用いて情報ボトルネック原理を近似するバックプロパゲーション不要な深層ニューラルネットワークの学習法、HSICボトルネックを提案する。入力と出力の両方に対して、層の活性化とラベル間のHSICを最大化し、入力との依存関係を最小化することで、バックプロパゲーションを用いずに層ごとに順次学習を行う。この方法により、標準的なバックプロパゲーションと同等の分類精度が得られ、特に最終段のSGDで微調整された分類層を追加することで、特に顕著な性能向上が見られる。

ABSTRACT

We introduce the HSIC (Hilbert-Schmidt independence criterion) bottleneck for training deep neural networks. The HSIC bottleneck is an alternative to the conventional cross-entropy loss and backpropagation that has a number of distinct advantages. It mitigates exploding and vanishing gradients, resulting in the ability to learn very deep networks without skip connections. There is no requirement for symmetric feedback or update locking. We find that the HSIC bottleneck provides performance on MNIST/FashionMNIST/CIFAR10 classification comparable to backpropagation with a cross-entropy target, even when the system is not encouraged to make the output resemble the classification labels. Appending a single layer trained with SGD (without backpropagation) to reformat the information further improves performance.

研究の動機と目的

• バックプロパゲーションとその関連問題（勾配消失／爆発、重み伝達）を回避する深層学習の学習法の開発。
• 交差エントロピー損失の情報理論的代替として、相互情報量を学習目的関数に用いることの検討。
• 深層ネットワークにおける相互情報量の計算の実用的課題を、非パラメトリックな代理指標としてのHSICを用いることで解決。
• バックプロパゲーションを用いずに、標準ベンチマークで競争力のある性能を維持しつつ、深層ネットワークを効果的に学習可能であることを実証。
• HSICに基づく層別最適化による深層ネットワークの学習の可能性を評価し、並列処理や生物学的妥当性の向上を図る。

提案手法

• 本手法は、層の活性化とラベル間の統計的依存性、および活性化と入力間の依存性を測定するためにヒルバート＝シュミット独立性基準（HSIC）を用いる。
• 各層に対して、活性化とラベル間のHSICを最大化し、入力とのHSICを最小化することで、情報ボトルネックを有効に近似する。
• バックプロパゲーションや連鎖律の必要がないため、ブロック座標降下の方法で層ごとに順次学習を実行する。
• 最終的なネットワーク出力はしばしばほぼワンホットであり、固定された置換を施すだけで直接分類可能で、追加の学習が不要である。
• 表現の微調整のために、バックプロパゲーションを用いないSGDで学習された単一の分類層を追加することで、性能がさらに向上する。
• 複数の異なるカーネル帯域幅（σ）を用いたネットワークを並列に学習し、多スケールの依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 情報理論的目的関数を用いたバックプロパゲーション不要な深層ニューラルネットワークの学習は、実用的かつ効果的に行えるか？
• RQ2 HSICは、ビン分割やパラメトリックな仮定を必要とせず、深層学習における相互情報量の実用的代理指標として機能できるか？
• RQ3 HSICボトルネックは、深層バックプロパゲーションで一般的に見られる勾配消失・爆発問題を緩和できるか？
• RQ4 HSICボトルネックで学習されたネットワークは、画像分類タスクにおいて標準的なバックプロパゲーションと同等の性能を達成できるか？
• RQ5 本手法は、逐次的な逆伝播に依存しない並列的・層別学習を可能とし、その実現可能性は確認できるか？

主な発見

• HSICボトルネックは、スキップコネクションがなくても、勾配消失によりバックプロパゲーションに失敗するような非常に深いネットワークの学習を可能にする。
• MNIST、FashionMNIST、CIFAR10では、HSICで学習したネットワークがそれぞれ98.2%、87.9%、58.7%のテスト精度を達成し、バックプロパゲーションベースラインと同等の性能を示した。
• 最終段のSGDで学習された分類層（バックプロパゲーションなし）を追加することで、MNIST、FashionMNIST、CIFAR10でそれぞれ98.8%、88.3%、59.4%のテスト精度に向上した。
• 3つの並列HSICネットワーク（σ = 1, 5, 10）を用いたマルチスケールネットワークは、単一σモデルを上回る性能を示し、多スケール表現学習が性能向上に寄与することを示した。
• ResNetの実験では、最終層のフォーマット学習が標準的なバックプロパゲーションよりも迅速に収束し、より少ないエポックで高い精度に到達した。
• 本手法により、逆伝播スイープ、更新ロック、対称的フィードバックの必要性が排除され、より単純で並列処理に適した学習パラダイムが実現された。