[論文レビュー] Convolutional Neural Fabrics

Shreyas Saxena, Jakob Verbeek|arXiv (Cornell University)|Jun 8, 2016

Advanced Neural Network Applications参考文献 31被引用数 65

ひとこと要約

本論文では、層、スケール、チャネルにわたるスパースで局所的な接続性を通じて、指数的に多数のCNNアーキテクチャを埋め込む3次元トレイリス構造である畳み込みニューラルファブリクス（CNF）を紹介する。バックプロパゲーションによる1つのファブリクスの学習によって、埋め込まれたすべてのアーキテクチャの効率的かつ統合的な学習とアンサンブルが可能となり、MNIST、CIFAR10、Part Labelsの各タスクで最先端の性能を達成する。使用するハイパーパrameterは深さとチャネル数のわずか2つである。

ABSTRACT

Despite the success of CNNs, selecting the optimal architecture for a given task remains an open problem. Instead of aiming to select a single optimal architecture, we propose a "fabric" that embeds an exponentially large number of architectures. The fabric consists of a 3D trellis that connects response maps at different layers, scales, and channels with a sparse homogeneous local connectivity pattern. The only hyper-parameters of a fabric are the number of channels and layers. While individual architectures can be recovered as paths, the fabric can in addition ensemble all embedded architectures together, sharing their weights where their paths overlap. Parameters can be learned using standard methods based on back-propagation, at a cost that scales linearly in the fabric size. We present benchmark results competitive with the state of the art for image classification on MNIST and CIFAR10, and for semantic segmentation on the Part Labels dataset.

研究の動機と目的

• 最適な性能を得るための、指数的に大きなCNNアーキテクチャの探索空間を手動で探索する課題に対処すること。
• ヒューリスティック法や探索ベースの手法によって、個々のアーキテクチャを1つずつ訓練・評価する必要を排除すること。
• 1つの統一されたネットワーク構造内で、膨大な数のアーキテクチャにわたる効率的な重み共有とモデルアンサンブルを可能にすること。
• スケーラブルでマルチスケールなアーキテクチャを提供し、セマンティックセグメンテーションやオブジェクト検出などのタスクにおけるマルチスケール出力と自然に統合できること。

提案手法

• 層、空間的スケール、チャネルにわたる特徴マップの3次元トレイリスを構築し、スパースで均一な局所的接続性を確保する。
• 各活性化を、前層の局所的近傍（空間的、スケール的、チャネル的次元を含む）の非線形関数として定義する。
• 主なハイパーパrameterは層数とチャネル数の2つのみで、変種では密接続性やスケールに沿ったチャネルの倍増を許容する。
• 無効な接続を0に設定することで、任意のチェーン構造のCNNをファブリクス内のパスとして回復可能にする。
• 重複するパスにわたるパラメータ共有により、複数のアーキテクチャをアンサンブルする一般化された重み構成を可能にする。
• ファブリクス全体を標準的なバックプロパゲーションで学習し、ファブリクスサイズに比例して線形にスケーリングされるため、埋め込まれたすべてのアーキテクチャにわたる効率的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つの統一されたニューラルネットワーク構造が、指数的に多数の異なるCNNアーキテクチャを埋め込み、効率的に学習できるか？
• RQ2 アーキテクチャ探索やハイパーパrameterチューニングなしで、ファブリクスベースのアプローチが、手作業で設計されたCNNをどの程度上回れるか？
• RQ3 ファブリクス内で複数のアーキテクチャにわたる重み共有が、画像分類およびセマンティックセグメンテーションタスクにおける一般化性能に与える影響はいかほどか？
• RQ4 アーキテクチャの分岐なしに、ファブリクス構造が自然にマルチスケール特徴学習とマルチスケール出力をサポートできるか？

主な発見

• CNF-denseバージョンは、データ拡張を用いた場合、MNISTで0.33%のテスト誤差を達成し、530万パラメータで最先端の結果を再現または上回った。
• CIFAR10では、CNF-denseモデルがデータ拡張を用いて7.43%の誤差を達成し、多数の先行手法を上回り、5.84%の最先端水準に近づいた。
• CIFAR10におけるCNF-sparseバージョンは18.89%の誤差を示し、スパarsityが正則化や最適化が強化されない限り、性能を制限することが示された。
• CIFAR10モデルの接続を67%までプルーニングしても、誤差は7.4%から8.1%にしか上昇せず、ファブリクスの頑健性とコンパクトなサブネットワークの可能性を示した。
• 学習済みファブリクスの可視化から、信号伝播のパターンに顕著な差が見られた：セマンティックセグメンテーションモデルは早期にマルチスケール特徴を分散させたが、分類モデルは段階的なダウンサンプリングを用いた。
• チャネル倍増バージョンは、メモリの50%増加で最大10倍のチャネル数を実現でき、容量対メモリのトレードオフに優れた性能を示した。