[論文レビュー] Neural Multigrid

Tsung-Wei Ke, Michael Maire+1 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文では、空間的ピラミッドの複数のグリッド上で動作するCNN拡張であるNeural Multigridを紹介している。畳み込みフィルタは、スケール内およびスケール間の受容 field を備えており、スケール空間を横断するメッセージパッシングを可能にすることで、指数関数的な受容 field の拡大、動的アテンションおよびルーティングの学習を実現し、分類、セグメンテーション、空間的変換タスクにおいて、特に浅いアーキテクチャにおいて、標準CNNを著しく上回る性能を達成している。

ABSTRACT

We propose a multigrid extension of convolutional neural networks (CNNs). Rather than manipulating representations living on a single spatial grid, our network layers operate across scale space, on a pyramid of grids. They consume multigrid inputs and produce multigrid outputs; convolutional filters themselves have both within-scale and cross-scale extent. This aspect is distinct from simple multiscale designs, which only process the input at different scales. Viewed in terms of information flow, a multigrid network passes messages across a spatial pyramid. As a consequence, receptive field size grows exponentially with depth, facilitating rapid integration of context. Most critically, multigrid structure enables networks to learn internal attention and dynamic routing mechanisms, and use them to accomplish tasks on which modern CNNs fail. Experiments demonstrate wide-ranging performance advantages of multigrid. On CIFAR and ImageNet classification tasks, flipping from a single grid to multigrid within the standard CNN paradigm improves accuracy, while being compute and parameter efficient. Multigrid is independent of other architectural choices; we show synergy in combination with residual connections. Multigrid yields dramatic improvement on a synthetic semantic segmentation dataset. Most strikingly, relatively shallow multigrid networks can learn to directly perform spatial transformation tasks, where, in contrast, current CNNs fail. Together, our results suggest that continuous evolution of features on a multigrid pyramid is a more powerful alternative to existing CNN designs on a flat grid.

研究の動機と目的

• 標準CNNが長距離の文脈を捉えるのを制限する点を是正するため、マルチグリッドアーキテクチャを導入すること。
• 統一されたネットワーク設計により、複数の空間スケールにわたる効率的で階層的な特徴学習を可能にすること。
• 標準CNNでは得られない内部アテンションおよびルーティング機構を、マルチグリッド構造が学習できるかどうかを調査すること。
• 標準CNNと比較して、パrameter数やFLOPsを少なく抑えながら高い精度を達成できるかどうかを示すこと。
• 残差接続などの既存のアーキテクチャ的要素と、マルチグリッドがどのように作用し合うかを評価すること。

提案手法

• ネットワークは、各層が複数のスケールを同時に処理する空間グリッドのピラミッド上で動作する。
• 畳み込みフィルタは、スケール内およびスケール間の広がりを備えており、グリッド階層の隣接レベル間での通信を可能にしている。
• マルチグリッド・メッセージパッシングにより、空間ピラミッドを横断する情報伝達が行われ、受容 field が深さに応じて指数関数的に拡大する。
• エンド・ツー・エンドの学習が可能であり、残差接続などの既存のCNN部品と自然に統合できる。
• 明示的なアテンションモジュールを追加せずとも、マルチグリッド構造を通じて動的ルーティングおよび内部アテンションを学習できる。
• マルチグリッドフレームワークは他のアーキテクチャ的選択とは独立しており、既存のCNN設計とモジュラーに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 標準CNNとは異なり、1つのグリッドからマルチグリッドアーキテクチャに変更することで、CIFAR や ImageNet などの画像分類ベンチマークで性能が向上するか？
• RQ2 マルチグリッド設計により、標準CNNに欠けている動的ルーティングおよび内部アテンション機構をネットワークが学習できるか？
• RQ3 マルチグリッドネットワークは、標準CNNが失敗する空間的変換タスクを、特に浅いアーキテクチャにおいて直接実行できるか？
• RQ4 マルチグリッドフレームワークは、残差接続などの既存のアーキテクチャ的要素とどのように作用し合い、性能を向上させるか？
• RQ5 マルチグリッドアプローチは、特に合成データセットにおいて、セマンティックセグメンテーションの性能をどの程度向上させるか？

主な発見

• 標準CNNの枠組みの中で、1つのグリッドからマルチグリッドアーキテクチャに切り替えることで、CIFAR や ImageNet での精度が向上し、計算コストおよびパrameter数の点でも効率的である。
• 合成セマンティックセグメンテーションデータセットにおいて、マルチグリッドネットワークは顕著な性能向上を達成し、優れた特徴階層学習の能力を示している。
• 比較的浅いマルチグリッドネットワークは、現在の標準CNNが失敗する空間的変換タスクを直接実行可能であり、幾何的推論へのモデルのインダクティブバイアスが顕著に表れている。
• マルチグリッドフレームワークは残差接続と強い相乗効果を示し、さらなる性能向上を実現している。
• マルチグリッド・メッセージパッシングによる受容 field の指数的拡大により、迅速な文脈統合が可能となり、長距離依存性のサポートが可能である。
• マルチグリッド設計により、明示的なアーキテクチャ的追加がなくても、ネットワークが内部アテンションおよびルーティング機構を学習可能であることが示され、ビジョンモデルに新たなインダクティブバイアスを提供している。