[論文レビュー] CNN Features off-the-shelf: an Astounding Baseline for Recognition

Ali Sharif Razavian, Hossein Azizpour+2 more|arXiv (Cornell University)|Mar 23, 2014

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 679

ひとこと要約

この論文は、微調整を行わず、オフ・ザ・シェルフに抽出されたOverFeatモデルの事前学習済み畳み込みニューラルネットワーク（CNN）特徴量が、多様な視覚認識タスクにおいて顕著な強力なベースラインを提供することを示している。4096次元の特徴量に単純なデータオーギュメンテーションを施した線形SVMまたはL2距離を用いることで、複数のベンチマークデータセット上でオブジェクト分類、シーン認識、細分化認識、属性検出、画像検索の各タスクにおいて、最先端（SOTA）または非常に競争力のある性能を達成している。

ABSTRACT

Recent results indicate that the generic descriptors extracted from the convolutional neural networks are very powerful. This paper adds to the mounting evidence that this is indeed the case. We report on a series of experiments conducted for different recognition tasks using the publicly available code and model of the \overfeat network which was trained to perform object classification on ILSVRC13. We use features extracted from the \overfeat network as a generic image representation to tackle the diverse range of recognition tasks of object image classification, scene recognition, fine grained recognition, attribute detection and image retrieval applied to a diverse set of datasets. We selected these tasks and datasets as they gradually move further away from the original task and data the \overfeat network was trained to solve. Astonishingly, we report consistent superior results compared to the highly tuned state-of-the-art systems in all the visual classification tasks on various datasets. For instance retrieval it consistently outperforms low memory footprint methods except for sculptures dataset. The results are achieved using a linear SVM classifier (or $L2$ distance in case of retrieval) applied to a feature representation of size 4096 extracted from a layer in the net. The representations are further modified using simple augmentation techniques e.g. jittering. The results strongly suggest that features obtained from deep learning with convolutional nets should be the primary candidate in most visual recognition tasks.

研究の動機と目的

• 1つの公開利用可能なモデル（OverFeat）から得られる事前学習済みCNN特徴量の一般化能力を、多様な視覚認識タスクにおいて評価すること。
• 大規模なImageNetで学習されたネットワークから得られる汎用的で微調整を行わない特徴量が、高度に最適化された、タスク特化型の最先端システムを上回ることを検証すること。
• アーキテクチャの変更なしに、単純な特徴処理およびデータオーギュメンテーション技術が性能向上にどの程度効果的であるかを調査すること。
• 深層特徴量が視覚認識パイプラインのデフォルトベースラインとして採用されるべきかどうかを検証すること。これにより、複雑なタスク特化型の特徴工学的設計が不要になる。

提案手法

• 事前学習済みOverFeatネットワークの最終全結合層から4096次元のCNN特徴量を抽出した。
• 分類タスクには線形SVM、画像検索にはL2距離を用い、ネットワークからの特徴量を微調整なしに直接使用した。
• 耐性向上と性能向上を目的として、ジャッタリング（ランダムクロップ、カラージャンブル、水平反転）などのデータオーギュメンテーション技術を採用した。
• 検索タスクでは、空間的検索を実装し、最大4段階のスケールでパッチ抽出を行い、クエリと参照パッチ間の最小L2距離を計算した。
• 特徴処理パイプラインを適用した：L2正規化 → PCA（500次元に圧縮） → 白色化 → 再度L2正規化 → 2乗の符号付きパワー変換。
• すべてのデータセットおよびタスクに同一の特徴処理および分類器設定を適用することで、比較の一貫性と公平性を確保した。

実験結果

リサーチクエスチョン

• RQ1 オフ・ザ・シェルフのOverFeatのような事前学習済みネットワークからのCNN特徴量は、多様な視覚認識タスクにおいて、高度に最適化されたタスク特化型の最先端手法を上回ることができるか？
• RQ2 微調整なしに汎用CNN特徴量を用いる場合、単純なデータオーギュメンテーション技術はどの程度性能向上に効果的か？
• RQ3 スケール、カテゴリ、複雑さが著しく異なるタスク（例：オブジェクト分類から細分化認識まで）に、1つの事前学習済みCNN表現がどの程度一般化可能か？
• RQ4 特にメモリ制限がある状況下で、CNN特徴量はSIFT や VLAD といった従来の手作業特徴量を上回る性能を示すか？
• RQ5 属性検出のための明示的トレーニングなしに、CNN特徴量が意味的属性や部品レベルの情報をエンコードできるか？

主な発見

• オフ・ザ・シェルフのOverFeatからのCNN特徴量は、オブジェクト分類、シーン認識、細分化認識、属性検出、画像検索の全テストタスクで優れたもしくは競争力のある性能を達成した。
• Oxford5kデータセットでは、4–15kのメモリフットプリントでのみ使用して68.0％の検索精度を達成し、低メモリ手法のBoW（36.4％）やIFV（41.8％）を上回った。
• Paris6kデータセットでは79.5％の精度を達成し、VLAD（55.5％）やIFV（41.8％）を大きく上回り、さまざまな画像スケールや視点への一般化能力が優れていることを示した。
• Holidaysデータセットでは84.3％の精度を達成し、ASMK+MAの報告済み最高値81.0％およびCNN+BOWの80.2％を上回った。
• UKBenchデータセットでは91.1％の精度を達成し、CVLADの89.3％およびIFVの83.8％を上回り、低メモリ制約下でも一貫した優位性を確認した。
• 細分化認識タスクでは、線形SVMにCNN特徴量を適用した単純なデータオーギュメンテーションが、最良の専用手法をも上回り、汎用特徴量に最小限の適応を施すことで大きな可能性を示した。