[論文レビュー] Duality of Width and Depth of Neural Networks.

Fenglei Fan, Ge Wang|arXiv (Cornell University)|Feb 6, 2020

Neural Networks and Applications被引用数 2

ひとこと要約

本論文は、ReLUニューラルネットワークの幅と深さの準同型関係を確立し、任意の順方向ReLUネットワークが任意に小さな誤差で等価な広いまたは深いネットワークに変換可能であることを示している。この変換により、幅と深さの双対性が明らかになり、同型関係は分類タスクにおけるデータ駆動型のデ・モーガンの法則に類似している。

ABSTRACT

While classic studies proved that wide networks allow universal approximation, recent research and successes of deep learning demonstrate the power of the network depth. Based on a symmetric consideration, we investigate if the design of artificial neural networks should have a directional preference, and what the mechanism of interaction is between the width and depth of a network. We address this fundamental question by establishing a quasi-equivalence between the width and depth of ReLU networks. Specifically, we formulate a transformation from an arbitrary ReLU network to a wide network and a deep network for either regression or classification so that an essentially same capability of the original network can be implemented. That is, a deep regression/classification ReLU network has a wide equivalent, and vice versa, subject to an arbitrarily small error. Interestingly, the quasi-equivalence between wide and deep classification ReLU networks is a data-driven version of the De Morgan law.

研究の動機と目的

• 人工ニューラルネットワークが、そのアーキテクチャ設計において本質的に深さか幅のどちらかを好むかどうかを調査すること。
• ReLUネットワークにおけるネットワークの幅と深さの基本的相互作用メカニズムを解明すること。
• 広いネットワークと深いネットワークの間を変換する際にもネットワークの能力を保持する理論的変換を確立すること。
• 元のネットワークと変換後のネットワークの間の近似誤差が任意に小さくできる場合、広いネットワークと深いReLUネットワークが準同型関係にあたることを示すこと。
• 分類ネットワークの文脈において、デ・モーガンの法則のデータ駆動型アナログを明らかにすること。

提案手法

• 任意のReLUネットワークを、同じ機能的能力を持つ等価な広いネットワークに写像する変換を提案すること。
• 同じネットワークを等価な深いネットワークに写像する双対的変換を考案し、回帰または分類性能を維持すること。
• 両方の幅・深さバージョンが、任意に小さなεで抑えられた誤差内で同じ出力を達成できるように、対称的な構成原理を用いること。
• 変換を回帰および分類タスクに適用し、ネットワークの表現力が保持されることを確認すること。
• ReLU活性化関数の構造と区分線形関数の表現を活用して、幅と深さの双対性を実現すること。
• 同型関係を準同型として形式化し、小さな誤差の許容を考慮して、正確な同型関係は必要でないことを明確にすること。

実験結果

リサーチクエスチョン

• RQ1 深さのあるReLUネットワークを、同等の機能的能力を持つ広いネットワークに変換できるか？
• RQ2 広いReLUネットワークを、同等の性能を持つ深いネットワークに変換できるか？
• RQ3 ReLUネットワークにおける幅と深さの双対性の背後にある数学的メカニズムは何か？
• RQ4 準同型関係は、分類設定における論理的双対性（例：デ・モーガンの法則）とどのように関係するか？
• RQ5 元のネットワークと変換後のネットワークの間の近似誤差は、どの程度制御可能か？

主な発見

• 任意のReLUネットワークは、任意に小さな誤差ε内で元の関数を近似する広いネットワークに変換可能である。
• 同じネットワークは、誤差がεで抑えられる同じ機能的能力を保持する深いネットワークに変換可能である。
• 回帰および分類タスクの両方において、広いネットワークと深いネットワークの間の準同型関係が成立する。
• ネットワークアーキテクチャにおける双対性は、分類文脈においてデ・モーガンの法則と正式に類似しており、論理的対称性を示唆する。
• 変換は構成的かつ対称的であり、表現力を保持したまま、幅と深さの間を双方向に変換可能である。
• 結果として、深さと幅は本質的に好まれるのではなく、提案された変換のもとでは相互に交換可能であることが示唆される。