[論文レビュー] ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction

Kwan Ho Ryan Chan, Yaodong Yu+4 more|arXiv (Cornell University)|May 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 146被引用数 54

ひとこと要約

ReduNet は、コーディングレート削減目的を最大化することでホワイトボックス深層ネットワークを導出し、解釈可能な演算子を持つ層ごとに構築されたネットワークと、シフト不変性の下での畳み込み形を生み出し、予備実験を通じて示される。

ABSTRACT

This work attempts to provide a plausible theoretical framework that aims to interpret modern deep (convolutional) networks from the principles of data compression and discriminative representation. We argue that for high-dimensional multi-class data, the optimal linear discriminative representation maximizes the coding rate difference between the whole dataset and the average of all the subsets. We show that the basic iterative gradient ascent scheme for optimizing the rate reduction objective naturally leads to a multi-layer deep network, named ReduNet, which shares common characteristics of modern deep networks. The deep layered architectures, linear and nonlinear operators, and even parameters of the network are all explicitly constructed layer-by-layer via forward propagation, although they are amenable to fine-tuning via back propagation. All components of so-obtained "white-box" network have precise optimization, statistical, and geometric interpretation. Moreover, all linear operators of the so-derived network naturally become multi-channel convolutions when we enforce classification to be rigorously shift-invariant. The derivation in the invariant setting suggests a trade-off between sparsity and invariance, and also indicates that such a deep convolution network is significantly more efficient to construct and learn in the spectral domain. Our preliminary simulations and experiments clearly verify the effectiveness of both the rate reduction objective and the associated ReduNet. All code and data are available at \url{https://github.com/Ma-Lab-Berkeley}.

研究の動機と目的

• データ圧縮とレート削減に基づく識別表現学習の原理的な目的を動機づける。
• レート削減目的が、明示的な最適化と幾何学的解釈を伴う、層ごとに構築されたネットワーク設計（ReduNet）へと導くことを示す。
• ネットワークの成分がシフト不変性の下で多チャネル畳み込みへと変化することを示し、スパース性と不変性のトレードオフを分析する。
• 解析と検証に適した、順伝搬で構築されたホワイトボックスなエンドツーエンド逆伝播の代替手段を提供する。

提案手法

• 最大コーディングレート削減（MCR2）目的を、全データセットのコーディングレートとクラスごとのサブセットのコーディングレートの和との差として定義する。
• 勾配上昇ダイナミクスを導出し、それが自然に層ごとに構築される深いネットワークアーキテクチャ（ReduNet）へと展開する。
• ReduNet の線形演算子は、シフト/不変性を課すと多チャネル畳み込みになることを示す。
• 不変レート削減設定におけるスパース性と不変性のトレードオフを確立し、スペクトル領域計算について論じる。
• 明示的な最適化解釈を伴うネットワーク層の順伝搬構築を提示し、微調整のためのバックプロパゲーションで再利用可能とする。

実験結果

リサーチクエスチョン

• RQ1 高次元の多クラスデータの識別表現の構造を最も適切に捉える原理的な目的は何か？
• RQ2 深層ネットワークアーキテクチャを、ヒューリスティックに設計するのではなく、最適化目的から構成的に導出できるか？
• RQ3 レート削減は線形・非線形演算子の設計をどのように導くか、そして多チャネル畳み込みの役割は何か？
• RQ4 レート削減表現における不変性とスパース性のトレードオフは何か、そしてこれをどのように効率的に計算できるか？
• RQ5 得られた ReduNet の成分は、解釈可能で検証可能な最適化保証を提供するか？

主な発見

• レート削減目的は、全データセットとクラスサブセット間のコーディングレートの差を最大化することにより、クラス内のコンパクトさとクラス間の識別性を促進する。
• レート削減の勾配上昇スキームは、要素が正確な最適化、統計、および幾何学的解釈を持つ多層ネットワーク（ReduNet）を生み出す。
• シフト/不変性制約の下で、ReduNet の線形演算子は多チャネル畳み込みとなり、スペクトル領域計算を効率化する。
• 不変レート削減設定には基本的なスパース性と不変性のトレードオフがあり、平行移動・回転不変性のためのネットワーク設計に情報を提供する。
• 予備実験はレート削減目的と ReduNet アーキテクチャの有効性を検証し、コードとデータは公開されている。