[論文レビュー] Einconv: Exploring Unexplored Tensor Decompositions for Convolutional Neural Networks

Kohei Hayashi, Taiki Yamaguchi+2 more|arXiv (Cornell University)|Aug 13, 2019

Tensor decomposition and applications参考文献 39被引用数 7

ひとこと要約

この論文は、柔軟なグラフィカル表記を用いて畳み込みニューラルネットワーク（CNN）における未探索のテンソル分解を体系的に行うためのEinconvを紹介する。すべての可能な分解モジュール（包括的に非線形な変種を含む）を体系的に列挙・評価することで、従来の手法よりも精度と効率のトレードオフにおいて優れる、以前に未知のアーキテクチャを同定する。

ABSTRACT

Tensor decomposition methods are widely used for model compression and fast inference in convolutional neural networks (CNNs). Although many decompositions are conceivable, only CP decomposition and a few others have been applied in practice, and no extensive comparisons have been made between available methods. Previous studies have not determined how many decompositions are available, nor which of them is optimal. In this study, we first characterize a decomposition class specific to CNNs by adopting a flexible graphical notation. The class includes such well-known CNN modules as depthwise separable convolution layers and bottleneck layers, but also previously unknown modules with nonlinear activations. We also experimentally compare the tradeoff between prediction accuracy and time/space complexity for modules found by enumerating all possible decompositions, or by using a neural architecture search. We find some nonlinear decompositions outperform existing ones.

研究の動機と目的

• CNNに特有の、既知および未知のアーキテクチャを含む包括的なテンソル分解のクラスを同定・特徴付けること。
• すべての可能な分解モジュールにおけるモデルの精度、推論時間、パラメータ数のトレードオフを体系的に比較すること。
• CP分解やディープワイズ分離畳み込みのような既存の手法を上回る、新しい非線形分解が可能かどうかを同定すること。
• 神経ネットワークアーキテクチャ探索（NAS）を用いて高性能な分解モジュールを発見する可能性を検討すること。

提案手法

• 著者らは、CNNに適用可能なすべてのテンソル分解モジュールを表現・列挙するための柔軟なグラフィカル表記を定義する。
• 非線形活性化を含む、すべての有効な分解構成を体系的に生成・評価する。
• このフレームワークにより、すべての列挙されたモジュール間で精度、FLOPs、パラメータ数を直接比較可能となる。
• すべての可能な分解の網羅的列挙と、高性能な構成を発見するための神経ネットワークアーキテクチャ探索（NAS）アプローチを含む。
• グラフィカル表記は、ディープワイズ分離畳み込みやボトルネック層といった既知のモジュールに加え、新しい非線形変種も捉える。

実験結果

リサーチクエスチョン

• RQ1 体系的なグラフィカル表現を用いて、CNNに適用可能な有効なテンソル分解モジュールはいくつ構築可能か？
• RQ2 特に非線形モジュールにおいて、既存の手法と比較して優れた精度と効率のトレードオフを実現するのはどの分解モジュールか？
• RQ3 定義された探索空間内で、神経ネットワークアーキテクチャ探索（NAS）が高性能な分解モジュールを効果的に発見できるか？
• RQ4 分解構成の網羅的列挙から、どのような新しいアーキテクチャ的パターンが浮き彫りになるか？

主な発見

• 提案されたグラフィカル表記は、ディープワイズ分離畳み込みやボトルネック層といった既知のCNNモジュールに加え、以前に未知の非線形分解構造も的確に捉えることができた。
• 精度と効率の両面で、標準のCP分解やディープワイズ分離畳み込みを上回る、以前に未発見の非線形分解モジュールが複数発見された。
• 網羅的列挙アプローチにより、一般的に使用されているものとは異なる豊富な潜在的分解モジュールの空間が明らかになった。
• 神経ネットワークアーキテクチャ探索（NAS）は、高性能な分解モジュールを効果的に同定でき、分解空間を探索する上でその有効性が裏付けられた。