[論文レビュー] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

Christian Szegedy, Sergey Ioffe+2 more|arXiv (Cornell University)|Feb 23, 2016

Domain Adaptation and Few-Shot Learning被引用数 200

ひとこと要約

この論文は Inception-v4、Inception-ResNet-v1/v2、および残差接続を用いた変種を評価し、残差が学習を加速し、より大きなモデルがより高い精度をもたらすことを示し、アンサンブルがImageNetのTop-5で最先端を達成した。

ABSTRACT

Very deep convolutional networks have been central to the largest advances in image recognition performance in recent years. One example is the Inception architecture that has been shown to achieve very good performance at relatively low computational cost. Recently, the introduction of residual connections in conjunction with a more traditional architecture has yielded state-of-the-art performance in the 2015 ILSVRC challenge; its performance was similar to the latest generation Inception-v3 network. This raises the question of whether there are any benefit in combining the Inception architecture with residual connections. Here we give clear empirical evidence that training with residual connections accelerates the training of Inception networks significantly. There is also some evidence of residual Inception networks outperforming similarly expensive Inception networks without residual connections by a thin margin. We also present several new streamlined architectures for both residual and non-residual Inception networks. These variations improve the single-frame recognition performance on the ILSVRC 2012 classification task significantly. We further demonstrate how proper activation scaling stabilizes the training of very wide residual Inception networks. With an ensemble of three residual and one Inception-v4, we achieve 3.08 percent top-5 error on the test set of the ImageNet classification (CLS) challenge

研究の動機と目的

• Inception アーキテクチャに残差接続を追加することが、学習速度と最終的な精度を改善するかを調査する。
• 競争力のある性能を持つ、統一的で簡素化された Inception ベースのアーキテクチャ（Inception-v4 および残差変種）を開発する。
• 非常に深い Inception ベースのネットワークにおける学習の安定性とスケーリングの問題を評価する。
• ImageNet (ILSVRC) における単一モデルとアンサンブルの性能を評価し、最先端の結果を確立する。

提案手法

• Inception ブロック内でフィルターの連結を残差接続に置き換える。
• より多くの Inception モジュールを統一的で簡素化されたアーキテクチャとして Inception-v4 を導入する。
• Inception-ResNet 変種において、残差加算の前に次元を揃えるフィルター拡張層を使用する。
• ネットワークの幅が非常に大きくなるときに学習を安定させるために残差をスケールする。
• TensorFlow を用い 20 台の replica で RMSProp（decay 0.9、epsilon 1.0）を使用して訓練する；学習率は 0.045、指数的減衰率は 0.94、2 エポックごとに適用。

実験結果

リサーチクエスチョン

• RQ1 同程度の計算コストの純粋な Inception 変種と比較して、残差接続は Inception ベースのネットワークの学習を加速するか？
• RQ2 Inception-ResNet 変種は、同等の計算コストで非残差 Inception モデルを上回ることができるか？
• RQ3 モデルサイズとアンサンブル手法が ImageNet の Top-5 精度に与える影響は何か、アンサンブルは検証/テストセットで最先端の結果を達成するか？

主な発見

ネットワーク	Top-1 エラー	Top-5 エラー
BN-Inception	25.2%	7.8%
Inception-v3	21.2%	5.6%
Inception-ResNet-v1	21.3%	5.5%
Inception-v4	20.0%	5.0%
Inception-ResNet-v2	19.9%	4.9%
ResNet-151 (10 crops)	21.4%	5.7%
Inception-v3 (12 crops)	19.8%	4.6%
Inception-ResNet-v1 (12 crops)	19.8%	4.6%
Inception-v4 (12 crops)	18.7%	4.2%
Inception-ResNet-v2 (12 crops)	18.7%	4.1%
Inception-v3 (12 crops, 144 crops in Table 4)	18.9%	4.3%
Inception-ResNet-v1 (12 crops)	18.8%	4.3%
Inception-v4 (12 crops)	17.7%	3.8%
Inception-ResNet-v2 (12 crops)	17.8%	3.7%
Inception-v4 + 3x Inception-ResNet-v2 (ensemble, 144 crops)	16.5%	3.1%

• 残差ありの Inception ネットワークは、同等のコストの純粋な Inception に比べて学習が速い。
• いくつかの構成では、残差変種が同等コストの非残差と比べて最終的な精度をわずかに上回る。
• Inception-ResNet-v2 および Inception-v4 は、同等の比較対象の中で単一モデルのトップ-5 エラーが先頭レベルを示し、アンサンブルでは 3.1% のトップ-5 エラーを報告。
• Inception-v4 と Inception-ResNet-v2 を3つ組み合わせたアンサンブルは ImageNet テストセットで 3.08% のトップ-5 エラーを達成し、当時の最先端を代表した。
• ネットワークが非常に広くなるとき、残差をスケールすることが学習の安定化に役立つ（残差スケーリング係数は約 0.1–0.3）。
• モデルサイズを増やすと、いずれの変種でも認識性能が向上する；アンサンブルの改善幅は単一モデルの改善幅を上回る。