[論文レビュー] Butterfly-Net: Optimal Function Representation Based on Convolutional Neural Networks

Yingzhou Li, Xiuyuan Cheng+1 more|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks参考文献 44被引用数 17

ひとこと要約

この論文では、高速バタフライアルゴリズムにインspiredされた構造的でスパースなチャネル間接続を持つ、低複雑性の畳み込みニューラルネットワーク「Butterfly-net」を提案する。このネットワークは、フーリエカーネルの近似において指数的誤差減少を達成し、モデル複雑性O(K log N)および計算複雑性O(N log N)で最適な関数表現を可能にし、標準的なCNNと比較してパラメータ数を顕著に削減しながらも、精度を維持する。

ABSTRACT

Deep networks, especially convolutional neural networks (CNNs), have been successfully applied in various areas of machine learning as well as to challenging problems in other scientific and engineering fields. This paper introduces Butterfly-Net, a low-complexity CNN with structured and sparse cross-channel connections, together with a Butterfly initialization strategy for a family of networks. Theoretical analysis of the approximation power of Butterfly-Net to the Fourier representation of input data shows that the error decays exponentially as the depth increases. Combining Butterfly-Net with a fully connected neural network, a large class of problems are proved to be well approximated with network complexity depending on the effective frequency bandwidth instead of the input dimension. Regular CNN is covered as a special case in our analysis. Numerical experiments validate the analytical results on the approximation of Fourier kernels and energy functionals of Poisson's equations. Moreover, all experiments support that training from Butterfly initialization outperforms training from random initialization. Also, adding the remaining cross-channel connections, although significantly increase the parameter number, does not much improve the post-training accuracy and is more sensitive to data distribution.

研究の動機と目的

• 科学的計算および信号処理の文脈で最適な関数表現を可能にする、構造的スパarsityを備えた低複雑性CNNアーキテクチャの開発。
• 偏微分方程式（PDEs）や積分作用素の文脈において、フーリエカーネルおよび関連関数型の近似性能の分析。
• ネットワークの複雑性が入力次元Nではなく有効周波数帯域幅Kに従ってスケーリングされることを示し、高次元問題における効率性の向上。
• 関数近似のための深層ネットワーク学習において、バタフライ初期化がランダム初期化を上回る優位性を実証。
• パラメータ効率性、精度、ドメインシフト下での一般化性能の観点から、Butterfly-netと標準CNNおよびInflated-Butterfly-netの比較。

提案手法

• バタフライスキームに基づく階層的・マルチスケール構造を持つCNNアーキテクチャを設計。畳み込み層および逆畳み込み層を用い、再帰的補間を実装。
• フーリエ変換操作をネットワーク重みに直接埋め込む構造的バタフライ初期化を導入。これにより、フーリエ係数の正確な計算が可能になる。
• 各チャネルが特定の周波数帯域に対応するスパースなチャネル間接続を実装。パラメータ数を削減しながらも近似性能を維持。
• パラメータ数を大幅に増加させるが、密なチャネル間接続を持つInflated-Butterfly-netの変種を構築し、パラメータ効率性と性能の比較を実施。
• ポisson方程式のエネルギー関数型などの関数型を表現するため、タスク固有のヘッド層（例：二乗和層、密-密層）を導入。
• バタフライ初期化およびランダム初期化から学習を開始し、ドメインシフト下での最終精度と一般化性能を比較。

実験結果

リサーチクエスチョン

• RQ1 構造的でスパースなチャネル間接続を持つCNNは、ネットワークの深さが増すに従い、フーリエカーネルの近似において指数的誤差減少を達成できるか？
• RQ2 Butterfly-netのモデル複雑性が入力次元Nではなく有効周波数帯域幅Kに従ってスケーリングされるか？これにより、サンプル効率が向上するか？
• RQ3 関数近似タスクにおいて、バタフライ初期化はランダム初期化と比較して収束速度および最終精度で優位性を示すか？
• RQ4 Inflated-Butterfly-netに密なチャネル間接続を追加することで、精度がどの程度向上するか？そのパラメータ数の増加を補って十分な利点があるか？
• RQ5 標準CNNと比較して、Butterfly-netはデータ分布のシフト下でもどの程度一般化性能を発揮するか？

主な発見

• Butterfly-netは、ネットワークの深さが増すに従い、フーリエカーネルの近似誤差が指数的減少する。理論的および数値的検証がなされている。
• モデル複雑性はO(K log N)、計算複雑性はO(N log N)であり、Kは有効周波数帯域幅、Nは入力長を表す。標準CNNと比較して顕著にパラメータ数が削減されている。
• バタフライ初期化を用いたButterfly-netは、離散フーリエ変換およびポアソン方程式のエネルギー関数型の近似において、ランダム初期化を上回る性能を示す。
• Inflated-Butterfly-netは、パラメータ数が数個のオーダーも増加しているが、最終精度の向上はわずかにとどまり、Butterfly-netに比べて顕著な利点がない。
• ドメインシフトを伴う転移学習の設定において、Butterfly-netはInflated-Butterfly-netよりも優れた一般化性能を示しており、より高いロバスト性を示している。
• タスクヘッドに搭載された二乗和層により、特定の関数型を正確に表現でき、密-密層よりもより高い近似精度が達成されている。