[論文レビュー] PolyNet: A Pursuit of Structural Diversity in Very Deep Networks

Xingcheng Zhang, Zhizhong Li+2 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Neural Network Applications参考文献 26被引用数 38

ひとこと要約

この論文は、深さや幅を増やすのではなく、構造的多様性を活用することで深層ネットワークの性能を向上させる、新しい構造的モジュールのファミリーであるPolyInceptionを紹介する。並列または級列接続された複数のInception風パスを統合することで、PolyInceptionは表現力豊かな表現を可能にしつつ、計算効率を維持する。その結果得られた非常に深いPolyNet（Very Deep PolyNet）は、同じ計算予算下でImageNet ILSVRC 2012で4.25%（単一クロップ）および3.45%（マルチクロップ）という最先端のトップ5検出誤差率を達成し、Inception-ResNet-v2 やより深いResNetバージョンを上回った。

ABSTRACT

A number of studies have shown that increasing the depth or width of convolutional networks is a rewarding approach to improve the performance of image recognition. In our study, however, we observed difficulties along both directions. On one hand, the pursuit for very deep networks is met with a diminishing return and increased training difficulty; on the other hand, widening a network would result in a quadratic growth in both computational cost and memory demand. These difficulties motivate us to explore structural diversity in designing deep networks, a new dimension beyond just depth and width. Specifically, we present a new family of modules, namely the PolyInception, which can be flexibly inserted in isolation or in a composition as replacements of different parts of a network. Choosing PolyInception modules with the guidance of architectural efficiency can improve the expressive power while preserving comparable computational cost. The Very Deep PolyNet, designed following this direction, demonstrates substantial improvements over the state-of-the-art on the ILSVRC 2012 benchmark. Compared to Inception-ResNet-v2, it reduces the top-5 validation error on single crops from 4.9% to 4.25%, and that on multi-crops from 3.7% to 3.45%.

研究の動機と目的

• 深さや幅を超えた、構造的多様性を深層ネットワーク設計の新たな次元として調査すること。
• ネットワークの深さや幅を増やすことによる収益の逓減と、計算量の2次関数的増加という問題に取り組むこと。
• 比例的なコスト増加なしに表現能力を向上させる新しいモジュラーなブロックファミリーを開発すること。
• ImageNet ILSVRC 2012で最先端の性能を達成する非常に深いネットワークアーキテクチャ—Very Deep PolyNet—を設計すること。

提案手法

• PolyInceptionモジュールを多項式的組み合わせとしてのInceptionユニットとして提案し、並列または級列構成の複数のパスを統合する。
• 既存のネットワーク部品に置き換えたり挿入できるように、柔軟な構築ブロックとしてPolyInceptionモジュールを設計する。
• 異なるネットワーク段階における最適なPolyInception構成の選定を支援するため、アーキテクチャの効率性指標を用いる。
• 非常に深いPolyNetアーキテクチャにおける過学習を軽減するために、適応的確率的深さ正則化を採用する。
• 空間解像度を異なる3つの段階で動作させるVery Deep PolyNetを構築し、それぞれに慎重に選択されたPolyInceptionモジュールを用いる。
• さまざまなモジュール構成の性能とコストを、異なる計算制約下で比較するための体系的なアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークアーキテクチャにおける構造的多様性は、単に深さや幅を増やすのではなく、より良い性能をもたらすことができるか？
• RQ2 深層ネットワークに構造的多様性を最適に組み込む方法は何か？ これにより性能向上を最大化できるか？
• RQ3 計算予算が制限された状況で、構造的多様性は深さと比べてどのようにスケーリングするか？
• RQ4 非常に深いネットワークにおいて、構造的多様性は深さそのものよりも優れた性能向上をもたらすか？
• RQ5 PolyInceptionのようなモジュラで再利用可能なコンponentsを用いることで、より効率的かつ正確な深層ネットワークを設計できるか？

主な発見

• Very Deep PolyNetは、ImageNet ILSVRC 2012の単一クロップ評価でトップ5検出誤差4.25%を達成し、Inception-ResNet-v2の4.9%よりも顕著な向上を示した。
• マルチクロップ評価では、Very Deep PolyNetはトップ5誤差を3.45%まで低減し、Inception-ResNet-v2の3.7%を上回った。
• 同じ計算予算下で、133MパラメータのInception-ResNet-v2のより深いバージョンよりも少ないパラメータ数（92M）で、より高い性能を達成した。
• 構造的多様性は、深さ単体よりも効果的にスケーリングされ、特に4000 ms/iterを超える領域では、単に深さを増やすよりも大きな性能向上が得られた。
• Figure 11の性能曲線から、PolyInceptionモジュールは非常に深いネットワークでも顕著な性能向上をもたらすことが示された。
• アブレーションスタディの結果、同じ計算予算下でInceptionブロックを組み込んだアーキテクチャは、標準のResNetアーキテクチャを一般に上回ることが確認され、構造的多様性の価値が裏付けられた。