[論文レビュー] Locally Scale-Invariant Convolutional Neural Networks

Angjoo Kanazawa, Abhishek Sharma+1 more|arXiv (Cornell University)|Dec 16, 2014

Advanced Neural Network Applications参考文献 14被引用数 111

ひとこと要約

本稿では、パラメータ数を増加させずにスケールにわたる応答をプーリングすることで、1つのフィルタが複数のスケールで特徴を検出可能となる、局所的スケール不変畳み込みニューラルネットワーク（SI-ConvNet）を提案する。この手法は、一般化性能を向上させ、過学習を軽減し、訓練データが少ないスケール変動を伴うMNISTの変種において、標準的なConvNetを上回る性能を発揮する。

ABSTRACT

Convolutional Neural Networks (ConvNets) have shown excellent results on many visual classification tasks. With the exception of ImageNet, these datasets are carefully crafted such that objects are well-aligned at similar scales. Naturally, the feature learning problem gets more challenging as the amount of variation in the data increases, as the models have to learn to be invariant to certain changes in appearance. Recent results on the ImageNet dataset show that given enough data, ConvNets can learn such invariances producing very discriminative features [1]. But could we do more: use less parameters, less data, learn more discriminative features, if certain invariances were built into the learning process? In this paper we present a simple model that allows ConvNets to learn features in a locally scale-invariant manner without increasing the number of model parameters. We show on a modified MNIST dataset that when faced with scale variation, building in scale-invariance allows ConvNets to learn more discriminative features with reduced chances of over-fitting.

研究の動機と目的

• 標準的なConvNetが複数スケールの特徴を学習する際に冗長なフィルタ学習を繰り返すための非効率性を解消すること。
• 各畳み込み層にスケール不変性を直接組み込むことで、過学習とデータ要件の低減を実現すること。
• 標準的なConvNetと同等のパラメータ数を維持しつつ、スケール変動に伴うより優れた一般化性能を達成すること。
• スケール間で特徴学習を共有することで、テストデータにおける不慣れなスケールに対しても頑健性を向上させること。

提案手法

• モデルは各畳み込み層内で複数スケールにわたって同一のフィルタを適用し、スケール間の応答を一致させるために逆変換を用いる。
• スケール次元にわたってマックスプーリングを適用することで、標準的なConvNetと同等の空間次元を持つ局所的スケール不変特徴マップを生成する。
• スケール不変表現はネットワーク全体ではなく層レベルで達成されるため、スケール間での効率的な共同学習が可能になる。
• スケール間で重みを共有することで、各スケールごとの別々のフィルタを必要とせず、パラメータ数の削減が可能になる。
• 全体のネットワークの深さや構造を変更することなく、既存のConvNetアーキテクチャにスムーズに統合可能である。
• スケール間での共有により、訓練例の数を減らしても判別可能な特徴を学習可能になる。

実験結果

リサーチクエスチョン

• RQ1 層レベルで明示的にスケール不変性を符号化することで、ConvNetの特徴学習効率を向上させられるか？
• RQ2 ネットワークアーキテクチャにスケール不変性を組み込むことで、過学習とデータ要件が低減するか？
• RQ3 訓練データおよびテストデータにおけるスケール変動下で、SI-ConvNetと標準ConvNetの性能はどのように比較されるか？
• RQ4 SI-ConvNetは、訓練データに十分に表現されていない不慣れなスケールに対しても、より優れた一般化性能を示せるか？

主な発見

• スケール変動を伴うテストデータにおいて、SI-ConvNetは標準ConvNetと比較して平均25%の相対誤差低減を達成する。
• 極端なスケール（0.4および1.6）では、それぞれ20%および47%の相対誤差低減を示し、優れた頑健性を確認する。
• 訓練データにおけるスケール変動が大きくなるに従い、SI-ConvNetの誤差増加率はConvNetよりもゆっくり上昇するため、スケーラビリティに優れる。
• 限られた訓練データ下では、SI-ConvNetは一貫してConvNetを上回る性能を示し、データサイズが増加するにつれて性能差が僅かに縮小する。
• 訓練データがスケール1を中心とするガウス分布からサンプリングされても、SI-ConvNetはスケール端縁での誤差が低減され、より良い一般化性能を維持する。
• 同じパラメータ数で優れた性能を達成していることから、スケール不変性をモデルの複雑さを増さずに効率的に埋め込めることが証明された。