[論文レビュー] Deep Networks from the Principle of Rate Reduction

Kwan Ho Ryan Chan, Yaodong Yu+4 more|arXiv (Cornell University)|Oct 27, 2020

Face and Expression Recognition参考文献 52被引用数 9

ひとこと要約

本稿は、レート低減の原則から深層畝込みニューラルネットワークを導出しており、この目的関数に対する繰り返し勾配上昇法が、明示的な最適化、統計的、幾何的解釈を伴う階層的構造を自然に生じさせることを示している。得られた「ReduNet」は、誤差逆伝搬法を用いずに、特徴を判別可能でシフト不変にする表現を学習でき、スペクトル領域におけるマルチチャネル畝込みを介してより効率的に構築可能である。

ABSTRACT

This work attempts to interpret modern deep (convolutional) networks from the principles of rate reduction and (shift) invariant classification. We show that the basic iterative gradient ascent scheme for optimizing the rate reduction of learned features naturally leads to a multi-layer deep network, one iteration per layer. The layered architectures, linear and nonlinear operators, and even parameters of the network are all explicitly constructed layer-by-layer in a forward propagation fashion by emulating the gradient scheme. All components of this "white box" network have precise optimization, statistical, and geometric interpretation. This principled framework also reveals and justifies the role of multi-channel lifting and sparse coding in early stage of deep networks. Moreover, all linear operators of the so-derived network naturally become multi-channel convolutions when we enforce classification to be rigorously shift-invariant. The derivation also indicates that such a convolutional network is significantly more efficient to construct and learn in the spectral domain. Our preliminary simulations and experiments indicate that so constructed deep network can already learn a good discriminative representation even without any back propagation training.

研究の動機と目的

• 現代の深層畝込みネットワークを、原理的かつ第一原理的に導出すること。
• 最適化理論を用いて、初期層におけるマルチチャネル特徴学習、非線形性、重み共有の役割を説明すること。
• 各層ごとに明確な幾何的および統計的意味を持つネットワークアーキテクチャ、演算子、パラメータを段階的に構築するフレームワークを確立すること。
• 誤差逆伝搬学習を用いずに、深層ネットワークが優れた分類性能を達成できることを示すこと。
• シフト不変性が自然にマルチチャネル畝込みネットワークを生じさせることを示し、特にスペクトル領域において極めて効率的であることを明らかにすること。

提案手法

• 本稿は、判別的特徴表現のためのコーディングレート低減を最大化する目的関数としてレート低減目的を定式化する。
• この目的関数に対して繰り返し勾配上昇法を適用し、各反復ごとに1層ずつ対応する多層構造が自然に得られる。
• 各層の線形および非線形演算子は勾配更新則から明示的に導出され、最適化および幾何的解釈可能性が保証される。
• シフト不変性を強制することで、導出された線形演算子はマルチチャネル畝込みに変換され、自然に畝込みアーキテクチャが得られる。
• この手法により、視覚皮質における神経コーディングに類似した、スペクトル（フーリエ）領域における効率的なネットワーク構築と学習が可能になる。
• すべての要素—重み、活性化、アーキテクチャ—が明確な理論的根拠を持つ「ホワイトボックス」ネットワークの構築が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層畝込みニューラルネットワークのアーキテクチャは、経験的設計ではなく、第一原理から導出可能か？
• RQ2 深層ネットワークにおける多層特徴学習の最適化理論的根拠は何か？
• RQ3 なぜ初期層にマルチチャネル畝込みと非線形性が自然に出現するのか？
• RQ4 原理的なネットワーク構築において、シフト不変性を厳密に強制する方法は何か？
• RQ5 誤差逆伝搬法を用いずに、深層ネットワークが有効な表現を学習できるか？

主な発見

• レート低減目的関数に対する繰り返し勾配上昇法により、各反復ごとに1層ずつ対応する深層ネットワークアーキテクチャが得られ、各層の構成要素は最適化および幾何的意味を明示的に持つ。
• 導出されたネットワーク（ReduNet）は、誤差逆伝搬学習を一切用いずに、1次元関数およびMNISTデータセットで優れた分類性能を達成した。
• シフト不変性を強制すると、ネットワーク内の線形演算子はマルチチャネル畝込みに変換され、自然に畝込みアーキテクチャが形成される。
• スペクトル領域において、このネットワークは学習および構築が著しく効率的であり、神経情報処理における生物学的に妥当なメカニズムを示唆している。
• コサイン類似度解析により、学習された表現が異なるクラス間で直交していることが示され、強力な判別力があることが裏付けられた。
• このフレームワークは、初期層におけるマルチチャネルリフトとスパースコーディングの役割を、レート低減原理の自然な結果として説明できる。