[論文レビュー] Modularized Morphing of Neural Networks

Tao Wei, Changhu Wang+1 more|arXiv (Cornell University)|Jan 12, 2017

Advanced Memory and Neural Computing参考文献 11被引用数 12

ひとこと要約

本論文は、モジュールの有向無閉路グラフ（DAG）抽象化を用いて、モジュールのグラフ変換問題として定式化することで、1つの畳み込み層を任意のニューラルネットワークモジュールに体系的かつ柔軟に変形可能なモジュラー化ネットワークモーフィズムフレームワークを提案する。本手法は、単純および複雑なモジュールに対応する2つの原子的モーフィング操作を導入し、計算コストが1.2倍にとどまる中で、ResNetに比べて最大25%の相対的精度向上を達成しており、知識を保持するアーキテクチャの進化によって顕著な性能向上を実現している。

ABSTRACT

In this work we study the problem of network morphism, an effective learning scheme to morph a well-trained neural network to a new one with the network function completely preserved. Different from existing work where basic morphing types on the layer level were addressed, we target at the central problem of network morphism at a higher level, i.e., how a convolutional layer can be morphed into an arbitrary module of a neural network. To simplify the representation of a network, we abstract a module as a graph with blobs as vertices and convolutional layers as edges, based on which the morphing process is able to be formulated as a graph transformation problem. Two atomic morphing operations are introduced to compose the graphs, based on which modules are classified into two families, i.e., simple morphable modules and complex modules. We present practical morphing solutions for both of these two families, and prove that any reasonable module can be morphed from a single convolutional layer. Extensive experiments have been conducted based on the state-of-the-art ResNet on benchmark datasets, and the effectiveness of the proposed solution has been verified.

研究の動機と目的

• 従来のネットワークモーフィズム手法が層レベルでのみ動作するという制限を解消し、深層ネットワークでは許容できないほど大きなモーフィング空間が生じることを防ぐこと。
• 1つの畳み込み層が任意のニューラルネットワークモジュールにモーフィング可能かどうか、そしてその方法を特定することにより、モジュラー化モーフィングの理論的・実用的基盤を確立すること。
• ResNetのような現代のモジュラーアーキテクチャに一般化可能な統一的で汎用性の高いモーフィングソリューションを開発し、効率的なアーキテクチャ探索と性能向上を可能にすること。
• モジュールを単純・複雑の2つの家族に分類し、それぞれに適したモーフィングアルゴリズムを提供することで、任意の妥当なモジュールへのモーフィングを保証する体系的フレームワークを構築すること。

提案手法

• データブロブを頂点、畳み込み層を辺とする有向無閉路グラフ（DAG）としてニューラルネットワークモジュールを抽象化し、ネットワーク構造のグラフベース表現を可能にする。
• グラフ表現の変換の基本的構成要素として、2つの原子的モーフィング操作（分割と統合）を導入する。
• モジュールを2つのファミリーに分類する：単純なモーフィング可能モジュール（原子的操作による直接的モーフィングが可能なモジュール）と複雑なモジュール（事前に非還元形に還元する必要があるモジュール）。
• 複雑なモジュールを非還元形に簡略化する還元アルゴリズムを提案し、非還元成分のネットワークモーフィズム方程式を解くことでモーフィングを可能にする。
• グラフ抽象化における次元整合性の問題を解消するため、ブロブおよびフィルタの次元を無限大に拡張し、収束性と理論的妥当性を保証する。
• 最先端のResNetアーキテクチャにモーフィングスキームを適用し、最小限の計算コスト増加と継続的訓練により性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク関数を保持したまま、1つの畳み込み層を任意のニューラルネットワークモジュールにモーフィング可能か？
• RQ2 層レベルではなくモジュールレベルでのモーフィングを可能にするために、どのような基本的演算が必要か？
• RQ3 単純および複雑なニューラルネットワークモジュールの両方に、どのように体系的に一般化可能なモーフィングを実現できるか？
• RQ4 アーキテクチャの柔軟性と性能向上の観点から、モーフィング能力の理論的上限は何か？
• RQ5 モーフィングスキームは、ResNetのような現代のモジュラーネットワークに実用的に適用可能であり、最小限の計算コストで顕著な性能向上を達成できるか？

主な発見

• モーフィングされた20層ネットワークはCIFAR-10でトップ-1誤差率6.60%を達成し、計算コストが約1/5の110層ResNet（6.61%）を上回った。
• モーフィングされた56層ネットワークはCIFAR-10で5.37%の誤差率を達成し、ResNet-110（6.61%）およびResNet-164（5.46%）を上回った。
• CIFAR-100では、モーフィングされた56層ネットワークが27.52%の誤差率を達成し、計算量は約半分の110層ResNet（28.46%）を上回った。
• ImageNetでは、モーフィングされた18層ネットワーク（morph18_1c1）がトップ-1誤差率31.69%（1ビュー）を達成し、ResNet-18に比べ0.87%の絶対的向上を示した。FLOPは1.06倍にとどまった。
• モーフィングされた34層ネットワーク（morph34_1c1）はトップ-1誤差率27.90%（1ビュー）を達成し、ResNet-34に比べ1.18%の絶対的向上を示した。FLOPは1.08倍であった。
• モーフィングスキームは、morph110_1c1アーキテクチャにおいて、学習から再初期化した場合に比べ最大32.6%の相対的性能向上を達成し、正則化効果と局所最適解への陥落リスクの低減を示した。