[論文レビュー] Multigrid Neural Architectures

Tsung-Wei Ke, Michael Maire+1 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 22被引用数 7

ひとこと要約

本稿では、空間グリッドのピラミッド全体にわたって作用するマルチグリッドニューラルアーキテクチャを提案する。これにより、畳み込みフィルタがスケール内およびスケール間で同時に作用可能となる。マルチグリッド計算を統合することで、ネットワークは指数関数的な受容 field の拡大を達成し、動的アテンションおよびルーティング機構を学習可能となり、分類、セグメンテーション、空間変換タスクにおいて標準CNNを上回る性能を発揮する。特に、標準CNNが失敗する浅いネットワークでも顕著な性能向上が得られる。

ABSTRACT

We propose a multigrid extension of convolutional neural networks (CNNs). Rather than manipulating representations living on a single spatial grid, our network layers operate across scale space, on a pyramid of grids. They consume multigrid inputs and produce multigrid outputs; convolutional filters themselves have both within-scale and cross-scale extent. This aspect is distinct from simple multiscale designs, which only process the input at different scales. Viewed in terms of information flow, a multigrid network passes messages across a spatial pyramid. As a consequence, receptive field size grows exponentially with depth, facilitating rapid integration of context. Most critically, multigrid structure enables networks to learn internal attention and dynamic routing mechanisms, and use them to accomplish tasks on which modern CNNs fail. Experiments demonstrate wide-ranging performance advantages of multigrid. On CIFAR and ImageNet classification tasks, flipping from a single grid to multigrid within the standard CNN paradigm improves accuracy, while being compute and parameter efficient. Multigrid is independent of other architectural choices; we show synergy in combination with residual connections. Multigrid yields dramatic improvement on a synthetic semantic segmentation dataset. Most strikingly, relatively shallow multigrid networks can learn to directly perform spatial transformation tasks, where, in contrast, current CNNs fail. Together, our results suggest that continuous evolution of features on a multigrid pyramid is a more powerful alternative to existing CNN designs on a flat grid.

研究の動機と目的

• 標準CNNがグリッドベースの信号拡散が遅いため、長距離コンテキスト情報を効率的に伝搬できないという問題を解決する。
• スケールと抽象化が混同される単一グリッドアーキテクチャの制限を克服し、セグメンテーションなどのタスクで複雑なスキップ接続を必要としないためのものである。
• 標準CNNが受容 field のダイナミクスに制限を受けるため学習できない、エンドツーエンドでの空間アテンションおよび動的ルーティング機構の学習を可能にする。
• マルチグリッド構造が浅いネットワークでも、標準CNNが学習に失敗するようなタスク（例：空間変換）を解けることを実証する。
• 分類、セグメンテーション、変換タスクを統一的に扱うために、ピラミッドの異なるレベルにヘッドを接続することで、1つのマルチグリッドアーキテクチャで複数のタスクを実現する。

提案手法

• 複数の空間グリッド（解像度のピラミッド）をカバーする畳み込み層を設計し、フィルタがスケール内およびスケール間の両方の広がりを持つようにする。
• 各層が空間ピラミッドのすべてのレベルで特徴を並列に処理・更新するマルチグリッド表現を構築する。
• 粗いグリッドから処理を開始し、深さが増すに従って徐々に細かいグリッドを統合するプログレッシブなマルチグリッドバージョンを実装する。
• 統一されたネットワーク構造を用いて複数のタスクをサポートする：分類には最も粗いレベルに分類器を接続、セグメンテーションには最も細かいレベルにヘッドを接続、変換タスクには中間レベルにヘッドを接続する。
• 標準的な最適化（学習率減衰付きSGD）を用いてエンドツーエンドでネットワークを訓練し、オクルージョンベースの影響解析によりアテンションマップを生成する。
• 動的かつトランスレーション不変なアテンション機構を学習できる能力をテストするため、合成された空間変換データセットを導入する。

実験結果

リサーチクエスチョン

• RQ1 標準CNNと比較して、マルチグリッドアーキテクチャは長距離コンテキスト情報をより速く、より効率的に統合できるか？
• RQ2 マルチグリッドネットワークは、標準CNNが学習に失敗する内部アテンションおよび動的ルーティング機構をエンドツーエンドで学習できるか？
• RQ3 マルチグリッド設計により、標準CNNが学習に失敗する複雑な空間変換タスクを浅いネットワークが解けるか？
• RQ4 ImageNetおよびCIFAR-10分類タスクにおいて、マルチグリッドネットワークの性能は標準CNNおよび残差CNNと比較してどうなるか？
• RQ5 1つのマルチグリッドアーキテクチャが、分類、セグメンテーション、変換タスクといった多様なビジョンタスクを、タスク固有のアーキテクチャ設計なしに効果的に処理できるか？

主な発見

• ResNet-34のマルチグリッド版R-MG-34は、より深いResNet-50よりもImageNetで高いトップ-1精度を達成しており、深さが浅くても性能向上が見られる。
• R-MG-34は、パrameter数が少なく、FLOPsも著しく少ないダブルワイド残差ネットワーク（WRN-34）を上回る性能を発揮しており、パrameterおよび計算効率の向上が裏付けられている。
• プログレッシブマルチグリッドネットワークR-PMG-30-SEGは、ResNet-34よりもImageNet分類タスクで優れた性能を示しており、マルチグリッドアーキテクチャの統合的潜在能力を支持する。
• 合成された空間変換タスクでは、U-Netのような標準CNNは完全に失敗するが、PMGおよびR-PMGネットワークのみがタスクを学習に成功しており、このようなアテンションベースのタスクではマルチグリッド構造が不可欠であることが示唆される。
• オクルージョン解析により生成されたアテンションマップは、PMGおよびR-PMGネットワークがトランスレーション不変なアテンションを示している一方、標準CNNは入力のシフトに関係なく固定された非適応的領域に注目していることを示している。
• マルチグリッドネットワークは深さに伴い指数関数的な受容 field の拡大を達成し、対数的深さで完全なコンテキスト統合が可能となる。これに対して、標準CNNは同程度のコンテキストを得るためには非常に深いスタックを必要とする。