[論文レビュー] Some Improvements on Deep Convolutional Neural Network Based Image Classification

Andrew Howard|arXiv (Cornell University)|Dec 19, 2013

Advanced Neural Network Applications参考文献 7被引用数 225

ひとこと要約

この論文は、画像分類のための深層畳み込みニューラルネットワークの改善を紹介しており、追加のトレーニング変換によるデータ拡張、テスト時におけるデータ拡張を用いたアンサンブル予測、および高解像度入力を用いたマルチスケール推論に焦点を当てている。提案手法により、外部データを用いずImageNet上でトップ5誤差率を13.55%まで低下させ、前年の優勝者と比較して相対的に20%以上改善を達成した。

ABSTRACT

We investigate multiple techniques to improve upon the current state of the art deep convolutional neural network based image classification pipeline. The techiques include adding more image transformations to training data, adding more transformations to generate additional predictions at test time and using complementary models applied to higher resolution images. This paper summarizes our entry in the Imagenet Large Scale Visual Recognition Challenge 2013. Our system achieved a top 5 classification error rate of 13.55% using no external data which is over a 20% relative improvement on the previous year's winner.

研究の動機と目的

• 内部データとモデルの強化を用いて、画像分類タスクにおける深層畳み込みニューラルネットワークの性能を向上させること。
• トレーニング中に広範なデータ拡張を実施することで、過学習を低減し一般化性能を向上させること。
• 入力画像を拡張した複数の予測を生成することで、テスト時の予測のロバスト性を向上させること。
• より高解像度の画像処理を活用して特徴表現を向上させ、分類精度を向上させること。
• 外部データを一切使用せず、ImageNet Large Scale Visual Recognition Challenge 2013で最先端のパフォーマンスを達成すること。

提案手法

• データの多様性を高めるために、トレーニング中にランダムクロップ、色の歪み、水平フリップなどの追加的な画像変換を適用した。
• テスト時にデータ拡張を活用し、同じ入力画像から複数の予測を生成し、それらを平均化またはアンサンブル化した。
• より高解像度の入力を用いて、微細な特徴を捉えることができる異なるスケールの画像で学習された補完的モデルを採用した。
• 異なるアーキテクチャとトレーニング戦略を持つ複数のモデルを組み合わせることで、全体のロバスト性と精度を向上させた。
• ミニバッチ確率的勾配降下法と学習率の段階的減少を用い、バッチ正則化とReLU活性化関数を最適化に組み込んだ。
• 同じ画像を複数の解像度で分類するマルチスケール推論戦略を採用し、結果を統合することで最終予測を向上させた。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にデータ拡張をどのように適用すれば、画像分類のための深層畳み込みニューラルネットワークの一般化性能が向上するか？
• RQ2 テスト時のデータ拡張は、予測精度とロバスト性をどの程度向上させるか？
• RQ3 異なる画像解像度で適用したモデルからの予測を組み合わせることで、分類性能が向上するか？
• RQ4 外部データを一切使用せず、補完的モデルを用いることでトップ5誤差率はどの程度低減できるか？
• RQ5 内部データとアーキテクチャの強化のみを用いて、最大でどの程度のパフォーマンス向上が達成できるか？

主な発見

• システムは、外部データを一切使用せず、内部トレーニングデータのみを用いてImageNet検証セットでトップ5誤差率13.55%を達成した。
• 前年の優勝者と比較して、トップ5誤差率は20%以上の相対的低減が達成された。
• テスト時のデータ拡張により、1つの入力に対して複数の予測を生成することで、予測のロバスト性と精度が顕著に向上した。
• 高解像度画像を用いたマルチスケール推論により、より良い特徴学習が実現され、分類結果の向上に寄与した。
• データ拡張、テスト時のアンサンブル、マルチスケール処理の組み合わせにより、2013年のImageNetチャレンジで最先端のパフォーマンスが達成された。
• 外部データセットに依存せず、内部データ拡張とモデルアンサンブルの有効性が顕著に示された。