[論文レビュー] Untangling Local and Global Deformations in Deep Convolutional Networks for Image Classification and Sliding Window Detection

George Papandreou, Iasonas Kokkinos+1 more|arXiv (Cornell University)|Nov 30, 2014

Advanced Neural Network Applications参考文献 33被引用数 39

ひとこと要約

この論文では、深層畳み込みニューラルネットワーク（CNN）における標準的な畳み込み-マックスプーリングの代替手段としてエピトミック畳み込みを提案し、フィルタ間でのパラメータ共有を可能にすることで、学習収束性と一般化性能の向上を図っている。また、グローバルスケールおよびトランスレーションの明示的モデリングを可能にするパッチワーク型Multiple Instance Learning（MIL）フレームワークを導入し、ImageNetで事前学習されたネットワークを再利用して受容 field を縮小することで、効率的なスライディングウィンドウ検出器を構築した。その結果、ImageNetおよびPascal VOC 2007で最先端の性能を達成した。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) commonly use generic `max-pooling' (MP) layers to extract deformation-invariant features, but we argue in favor of a more refined treatment. First, we introduce epitomic convolution as a building block alternative to the common convolution-MP cascade of DCNNs; while having identical complexity to MP, Epitomic Convolution allows for parameter sharing across different filters, resulting in faster convergence and better generalization. Second, we introduce a Multiple Instance Learning approach to explicitly accommodate global translation and scaling when training a DCNN exclusively with class labels. For this we rely on a `patchwork' data structure that efficiently lays out all image scales and positions as candidates to a DCNN. Factoring global and local deformations allows a DCNN to `focus its resources' on the treatment of non-rigid deformations and yields a substantial classification accuracy improvement. Third, further pursuing this idea, we develop an efficient DCNN sliding window object detector that employs explicit search over position, scale, and aspect ratio. We provide competitive image classification and localization results on the ImageNet dataset and object detection results on the Pascal VOC 2007 benchmark.

研究の動機と目的

• 局所的（非剛性）およびグローバル的（トランスレーション／スケール）な変形に対する不変性を向上させることで、深層CNNの性能を改善すること。
• パラメータ共有と学習安定性の向上を図るため、標準的な畳み込み-マックスプーリングをエピトミック畳み込みに置き換えること。
• Multiple Instance Learningフレームワークにおけるパッチワークデータ構造を用いて、トレーニング中にスケールと位置を明示的にモデリングすること。
• 受容フィールドを縮小した再利用可能なImageNet分類器を用いて、エンドツーエンドの効率的なスライディングウィンドウオブジェクト検出器を構築すること。
• 外部の領域提案ネットワークに依存せずに、画像分類およびオブジェクト検出で競争力のある結果を達成すること。

提案手法

• 標準的なマックスプーリングとは異なり、フィルタ中心の代替手法としてエピトミック畳み込みを導入し、1つの入力パッチをミニエピトームに格納されたフィルタ集合と比較して最大応答を出力する。
• 各レイヤーに小さな局所的ミニエピトームの辞書を用意し、入力パッチよりもわずかに大きなサイズにすることで、フィルタ間でのパラメータ共有を実現しながら計算効率を維持する。
• トレーニングおよび推論時に、すべての可能な画像スケールと位置を候補入力として効率的に表現するパッチワークデータ構造を構築する。
• 画像レベルのクラスラベルのみを用いてトレーニング可能なMultiple Instance Learning（MIL）を適用し、モデルが複数のスケールおよび位置でオブジェクトを検出できるように学習させる。
• 最初の全結合層を空間的にサブサンプリングすることで、受容フィールドを7×7から4×4に縮小し、VGG-16ネットワークを再利用してスライディングウィンドウ検出に適した構造に変換する。
• 「ホールアルゴリズム」を適用することで、8ピクセルのストライドで密な特徴抽出を可能にし、計算コストを抑えつつ画像全体にわたる正確な検出スコアを取得する。

実験結果

リサーチクエスチョン

• RQ1 エピトミック畳み込みは、標準的な畳み込み-マックスプーリングと比較して、同等の計算複雑度のもとで一般化性能と収束性を向上させることができるか？
• RQ2 パッチワークMILフレームワークを用いてトレーニング中にスケールと位置を明示的にモデリングすることで、ImageNetにおける画像分類精度が顕著に向上するか？
• RQ3 DCNNベースのスライディングウィンドウ検出器は、外部の領域提案ネットワークに依存せずに競争力のある性能を達成できるか？
• RQ4 受容フィールドのサイズが、CNNベースのオブジェクト検出器における局所化精度にどのように影響するか？
• RQ5 事前学習済みImageNet分類器を、アーキテクチャの変更によって効率的なスライディングウィンドウ検出に適応できる範囲はどの程度か？

主な発見

• エピトミック畳み込みは、計算複雑度が同一のまま、標準的な畳み込み-マックスプーリングよりも一般化性能が高く、収束が速い。
• トレーニング中にパッチワークMILフレームワークを用いてスケールと位置を明示的にモデリングすることで、ImageNetにおける画像分類精度が顕著に向上した。
• 提案されたスライディングウィンドウ検出器は、選択的検索に依存せず、Pascal VOC 2007で競争力ある結果を達成し、外部の領域提案に依存する手法を上回った。
• 最初の全結合層を7×7から4×4にサブサンプリングすることで、受容フィールドを224×224から128×128に縮小し、計算コストを3倍削減するとともに、局所化精度が向上した。
• ホールアルゴリズムにより、8ピクセルのストライドで密な特徴抽出が可能になり、過度な計算コストを伴わずに画像全体にわたる正確な検出スコアを取得できた。
• 本手法は、ImageNet画像分類およびPascal VOC 2007オブジェクト検出ベンチマークの両方で最先端の性能を達成し、局所的およびグローバルな変形を分離することで有効性を示した。