[論文レビュー] Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions

Nadav Cohen, Ronen Tamari+1 more|arXiv (Cornell University)|Mar 20, 2017

Tensor decomposition and applications参考文献 21被引用数 5

ひとこと要約

本稿では、拡張畳み込みニューラルネットワークの性能を向上させるために、混合テンソル分解を導入する。中間層間の戦略的な接続が表現的効率をもたらすことが示され、モデルサイズがほぼ2次関数的に削減される。実験的結果から、この接続性に起因する効率性が、深さに起因するものと同様に、精度の向上をもたらすことが明らかになった。

ABSTRACT

The driving force behind deep networks is their ability to compactly represent rich classes of functions. The primary notion for formally reasoning about this phenomenon is expressive efficiency, which refers to a situation where one network must grow unfeasibly large in order to realize (or approximate) functions of another. To date, expressive efficiency analyses focused on the architectural feature of depth, showing that deep networks are representationally superior to shallow ones. In this paper we study the expressive efficiency brought forth by connectivity, motivated by the observation that modern networks interconnect their layers in elaborate ways. We focus on dilated convolutional networks, a family of deep models delivering state of the art performance in sequence processing tasks. By introducing and analyzing the concept of mixed tensor decompositions, we prove that interconnecting dilated convolutional networks can lead to expressive efficiency. In particular, we show that even a single connection between intermediate layers can already lead to an almost quadratic gap, which in large-scale settings typically makes the difference between a model that is practical and one that is not. Empirical evaluation demonstrates how the expressive efficiency of connectivity, similarly to that of depth, translates into gains in accuracy. This leads us to believe that expressive efficiency may serve a key role in the development of new tools for deep network design.

研究の動機と目的

• 拡張畳み込みニューラルネットワークにおける中間層間の接続が、深さを超える表現的効率をもたらすかどうかを調査すること。
• ネットワークの接続性の文脈において、混合テンソル分解の概念を形式化し、分析すること。
• 接続性に起因する表現的効率が、系列モデルにおける実用的性能向上にどのように反映されるかを評価すること。
• 接続性が、従来深さに起因すると考えられてきた表現的効率の利点を、同様に達成または上回る可能性があるかどうかを検討すること。

提案手法

• 拡張畳み込みニューラルネットワークにおける層間接続の分析と活用のための数学的枠組みとして、混合テンソル分解を導入すること。
• 深さに起因する効率性に類似する形で、接続性によるモデルサイズの削減という観点から、表現的効率を形式的に定義すること。
• 単一の層間接続が表現的効率に与える影響を分析し、必要なモデルサイズがほぼ2次関数的に削減されることを示すこと。
• 制御された接続パターンを有する拡張畳み込みネットワークを設計・学習させ、理論的主張の実証的妥当性を検証すること。
• テンソル分解技術を用いて、拡張畳み込みの重みテンソルを表現・圧縮し、層間での効率的なパラメータ共有を可能にすること。
• 中間接続の有無を比較することで、表現的効率に与える接続性の寄与を隔離すること。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みニューラルネットワークにおける中間層間の接続は、表現的効率をもたらすことができるか？
• RQ2 接続性に起因する表現的効率は、深さに起因するものと比べてどうか？
• RQ3 単一の層間接続がモデルサイズおよび性能に与える定量的影響は何か？
• RQ4 接続性に起因する表現的効率は、どの程度精度向上に反映されるか？

主な発見

• 拡張畳み込みニューラルネットワークにおける単一の層間接続により、モデルサイズがほぼ2次関数的に削減され、顕著な表現的効率が達成されることを示した。
• 理論的分析から、混合テンソル分解が、戦略的な接続性を通じて複雑な関数のコンパクトな表現を可能にすることが明らかになった。
• 実験的結果から、接続性に起因する表現的効率が、深さの増加に起因するものと同様に、テスト精度の向上をもたらすことが確認された。
• 提案手法により、もともと実現不可能とされていた巨大なネットワークの実用的モデルサイズが達成可能になった。