[論文レビュー] Scale-Invariant Convolutional Neural Networks

Yichong Xu, Tianjun Xiao+3 more|arXiv (Cornell University)|Nov 24, 2014

Advanced Neural Network Applications参考文献 16被引用数 105

ひとこと要約

本稿では、スケール変換を介して複数のコラムにわたるフィルターパラメータを共有することにより、モデルサイズの増加や大量のデータオーグメンテーションを必要とせずに、スケール不変性を達成する多段階コラム型畳み込みニューラルネットワーク（SiCNN）を提案する。SiCNNは、CIFAR-10でベースラインCNNと比較して分類誤差を2.1%削減（14.22%）し、マックスアウトと組み合わせることで、追加のトレーニングコストを最小限に抑えながら11.33%の誤差率を達成する。

ABSTRACT

Even though convolutional neural networks (CNN) has achieved near-human performance in various computer vision tasks, its ability to tolerate scale variations is limited. The popular practise is making the model bigger first, and then train it with data augmentation using extensive scale-jittering. In this paper, we propose a scaleinvariant convolutional neural network (SiCNN), a modeldesigned to incorporate multi-scale feature exaction and classification into the network structure. SiCNN uses a multi-column architecture, with each column focusing on a particular scale. Unlike previous multi-column strategies, these columns share the same set of filter parameters by a scale transformation among them. This design deals with scale variation without blowing up the model size. Experimental results show that SiCNN detects features at various scales, and the classification result exhibits strong robustness against object scale variations.

研究の動機と目的

• 標準的なCNNに限られたスケール不変性があるため、入力スケールが変化する際に物体を正しく認識できない問題に対処すること。
• データオーグメンテーション（例：スケールジッタリング）に依存せず、自由パラメータ数を増加させることなく、スケール変動に対してロバストなモデルを開発すること。
• 各コラムを特定のスケールに特化させつつ、パラメータ共有を強制することで、1つのアーキテクチャ内でマルチスケール特徴抽出を可能にすること。
• スケール不変性による性能向上を維持しながらトレーニングコストを削減するインクリメンタルトレーニング戦略を検討すること。
• マックスアウトやドロップアウトといった既存の技術と組み合わせて、ベンチマークデータセット上で全体の精度を向上させることを示すこと。

提案手法

• SiCNNは多段階コラム型CNNアーキテクチャを採用しており、各コラムがスケール変換されたフィルターを用いて異なるスケールで入力を処理する。
• フィルターはスケール変換を介してコラム間でパラメータ共有が行われ、同じフィルターを複数のスケールに適用するが、パラメータの重複は生じない。
• 各コラムでは標準的な畳み込み層およびマックスプーリング層が使用され、最終的な特徴量は分類の前に連結される。
• 主なイノベーションは、スケール変換を用いて1つのコラムのフィルターを他のコラムにマッピングすることで、パラメータ効率を保ちながらスケールに特化した特徴検出を可能にしている点。
• インクリメンタルトレーニングが適用される：まず単一コラムのCNNをトレーニングし、そのフィルターから多段階コラム型SiCNNを初期化した後、最小限の追加トレーニングで最終モデルを最適化する。
• モデルは1つのソフトマックス分類器を用い、特徴量の統合はコラム間の連結によって実現される。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズの増加やデータオーグメンテーションを必要とせずに、スケール不変性を達成するCNNアーキテクチャを設計できるか？
• RQ2 スケール変換を介したコラム間のパラメータ共有が、物体認識におけるスケール変動に対するロバスト性を向上させるか？
• RQ3 インクリメンタルトレーニングは、SiCNNのトレーニングコストを削減しつつ、高い性能を維持できるか？
• RQ4 マックスアウトやネットワークインネットワークといった最先端モデルと比較して、SiCNNは標準ベンチマークでどのように性能を発揮するか？
• RQ5 ドロップアウトやマックスアウトといった他の最適化技術と組み合わせることで、SiCNNはさらに精度を向上させられるか？

主な発見

• SiCNNは、データオーグメンテーションを行わないCIFAR-10データセットで14.22%のテスト誤差率を達成し、ベースラインCNNと比較して2.1%の絶対的改善を示した。
• モデルはスケール変動に対して強くロバストであり、より大きなスケールに特化したコラムが、より大きな入力パターンに対してより強く活性化することが確認された。
• インクリメンタルトレーニングにより、トレーニングコストがほぼ半減（ベースラインの3.5倍にまで）したが、トレーニングから再開した場合と同等の性能（14.71%誤差）を維持した。
• マックスアウトと組み合わせた場合、SiCNNは1つの2コラムマックスアウト-SiCNNモデルで誤差率を11.68%から11.33%まで低下させた。
• 独立したフィルターを用いた6コラムSiCNNは著しく過学習を示し（テスト誤差約19%）、一般化のためのパラメータ共有の必要性が裏付けられた。
• この手法はドロップアウトやマックスアウトといった既存技術と相乗効果を示し、ImageNetのような大規模データセットに対しても有望である。