[論文レビュー] Slim, Sparse, and Shortcut Networks

Fenglei Fan, Dayang Wang+5 more|arXiv (Cornell University)|Nov 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 4

ひとこと要約

本稿では、理論的根拠に基づいたショートカット接続トポロジーを活用して最小幅で普遍近似を達成する、スリムでスパースかつショートカットベースのニューラルネットワークアーキテクチャS3-Netを提案する。一ノード幅のネットワークに戦略的なショートカットを組み込むことで、任意の単変数関数を近似可能であることを示し、幅に上限のある普遍近似器を確立した。スペクトル解析と一般化バウンドを用いて、ショートカット接続が表現能力と一般化性能を向上させることを示し、ベンチマークにおいて密度型および最先端のモデルを上回る優れた性能を発揮した。

ABSTRACT

Over the recent years, deep learning has become the mainstream data-driven approach to solve many real-world problems in many important areas. Among the successful network architectures, shortcut connections are well established to take the outputs of earlier layers as additional inputs to later layers, which have produced excellent results. Despite the extraordinary power, there remain important questions on the underlying mechanism and associated functionalities regarding shortcuts. For example, why are the shortcuts powerful? How to tune the shortcut topology to optimize the efficiency and capacity of the network model? Along this direction, here we first demonstrate a topology of shortcut connections that can make a one-neuron-wide deep network approximate any univariate function. Then, we present a novel width-bounded universal approximator in contrast to depth-bounded universal approximators. Next we demonstrate a family of theoretically equivalent networks, corroborated by the concerning statistical significance experiments, and their graph spectral characterization, thereby associating the representation ability of neural network with their graph spectral properties. Furthermore, we shed light on the effect of concatenation shortcuts on the margin-based multi-class generalization bound of deep networks. Encouraged by the positive results from the bounds analysis, we instantiate a slim, sparse, and shortcut network (S3-Net) and the experimental results demonstrate that the S3-Net can achieve better learning performance than the densely connected networks and other state-of-the-art models on some well-known benchmarks.

研究の動機と目的

• ショートカット接続が深層ニューラルネットワークにおいて果たす基本的メカニズムと機能的役割を理解すること。
• 従来の深さに制限を設けるアプローチとは対照的に、ショートカットトポロジーを用いて幅に制限のある普遍近似器を構築すること。
• ネットワークトポロジー、グラフスペクトル特性、表現能力の間の理論的および実験的関係を確立すること。
• 連結ショートカットがマージンに基づく多クラス一般化バウンドに与える影響を分析すること。
• S3-Netを設計・評価し、密度型および最先端のモデルを凌駕するスパースで効率的なアーキテクチャを実現すること。

提案手法

• 任意の単変数関数を近似可能な、戦略的に配置されたショートカット接続を持つ一ノード幅の深層ネットワークを提案し、幅に制限のある普遍近似器を確立する。
• 理論的に同等とされるニューラルネットワークの族を形式化し、そのグラフスペクトル特性を分析することで、トポロジーと表現力の関連を明示する。
• 連結ショートカットを備えた深層ネットワークのマージンに基づく一般化バウンドを導出し、その分析を通じて一般化能力の向上を示す。
• 理論的知見の実用的インスタンスとしてS3-Netを設計し、スパarsity、スリムな幅、ショートカット統合に重点を置く。
• 統計的有意性検定とスペクトル的特徴化を用いて、理論的主張の妥当性とアーキテクチャの頑健性を検証する。
• 有名なベンチマークでS3-Netを評価し、密度型接続ネットワークおよび最先端モデルとその性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜショートカット接続は深層ニューラルネットワークにおいて強力なのか？
• RQ2 ショートカットトポロジーをどのようにチューニングすればモデルの効率性と表現能力を最適化できるか？
• RQ3 ショートカットを備えた一ノード幅の深層ネットワークは、普遍近似を達成できるか？
• RQ4 ネットワークのグラフスペクトル特性とその表現能力の間にはどのような関係があるか？
• RQ5 連結ショートカットは、深層ネットワークのマージンに基づく一般化バウンドにどのように影響を与えるか？

主な発見

• 適切に設計されたショートカット接続を備えた一ノード幅の深層ネットワークは、任意の単変数関数を普遍的に近似可能であり、幅に制限のある普遍近似器を確立した。
• 統計的有意性検定により、ショートカット接続ネットワークの族間の理論的同等性が裏付けられ、アーキテクチャの頑健性が支持された。
• グラフスペクトル解析により、ネットワークトポロジーと表現能力の間に強い関連性があることが明らかになり、深層ネットワークを理解するための新たな理論的視点が得られた。
• 連結ショートカットがマージンに基づく多クラス一般化バウンドを向上させることを実証し、その実験的成功の裏付けが得られた。
• S3-Netは、複数の有名なベンチマークにおいて、密度型接続ネットワークおよび他の最先端モデルを上回る学習性能を達成した。