[論文レビュー] DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition

Jeff Donahue, Yangqing Jia+5 more|arXiv (Cornell University)|Oct 6, 2013

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 3,560

ひとこと要約

論文は、ImageNet で事前学習済みの CNN からの深い畳み込み特徴量（DeCAF）が、多様な視覚タスクに対して強力な汎用特徴として機能し、従来の表現をオブジェクト認識、ドメイン適応、細分類、シーン認識の各分野で上回ることを示しています。さらにオープンソースコードを提供し、セマンティッククラスタリングと効率性を分析しています。

ABSTRACT

We evaluate whether features extracted from the activation of a deep convolutional network trained in a fully supervised fashion on a large, fixed set of object recognition tasks can be re-purposed to novel generic tasks. Our generic tasks may differ significantly from the originally trained tasks and there may be insufficient labeled or unlabeled data to conventionally train or adapt a deep architecture to the new tasks. We investigate and visualize the semantic clustering of deep convolutional features with respect to a variety of such tasks, including scene recognition, domain adaptation, and fine-grained recognition challenges. We compare the efficacy of relying on various network levels to define a fixed feature, and report novel results that significantly outperform the state-of-the-art on several important vision challenges. We are releasing DeCAF, an open-source implementation of these deep convolutional activation features, along with all associated network parameters to enable vision researchers to be able to conduct experimentation with deep representations across a range of visual concept learning paradigms.

研究の動機と目的

• 大規模な物体認識で訓練された CNN 活性化特徴が、新規でデータが乏しいタスクへ一般化できることを示す。
• DeCAF特徴を多様な視覚ベンチマーク（オブジェクト認識、ドメイン適応、細分類認識、シーン認識）全体で評価する。
• 深層特徴と従来特徴とのセマンティッククラスタリング特性を可視化する。
• 深い表現の広範な実験を可能にする、オープンソースでCPUに優しい実装を提供する。

提案手法

• ImageNet (ILSVRC-2012) アーキテクチャで深い CNN を訓練する（5 層の畳み込み層、3 層の全結合層）。
• 中間層からの活性化を抽出する（DeCAF5、DeCAF6、DeCAF7）を固定特徴量として、重みを固定したまま。
• 少数の学習データを用いた複数データセットで、線形/分類モデル（LogReg, SVM）を評価する。
• DeCAF特徴をGISTおよびLLCのベースラインと比較し、t-SNEによる可視化とクラスタリング分析を用いる。
• 実行時特性を分析し、オープンソースでCPUに優しい実装（decaf）を強調する。

実験結果

リサーチクエスチョン

• RQ1 大規模な物体認識タスクで学習したCNN活性化特徴は、ラベル付きデータが限られる他の視覚タスクに一般化するか？
• RQ2 異なるCNN層（DeCAF5/6/7）が、ベンチマーク全体で汎用特徴としてどのように比較されるか？
• RQ3 深い特徴は、従来の手作り特徴と比べてセマンティッククラスタリングとドメイン偏りの低減を示すか？
• RQ4 GPU非搭載ハードウェア上でDeCAFを効率的に展開し、競争力のある性能を維持することは可能か？

主な発見

• DeCAF特徴、特に dropout を用いた DeCAF6 は Caltech-101、Office ドメイン適応、SUN-397 のベンチマークで最先端または競争力のある性能を達成する。
• DeCAF は、従来の手作業設計表現（例: SURF ベースの手法）および以前の深層ネットワークのベースラインを、いくつかのタスクで一貫して上回り、特にドメイン適応においてはドメインシフトが大幅に緩和される。
• セマンティックな視覚クラスタリングは、上位レベルの DeCAF 特徴でより強く、タスク固有の微調整なしでも豊かな意味情報を示している。
• オープンソースでCPUフレンドリーな実装（decaf）は、広範な実験を可能にし、HOGやKDESなどの既存の特徴抽出器との実用的なランタイム互換性を示す。
• 線形分類器（LogReg/SVM）と組み合わせた DeCAF は、これらのタスクで、より複雑なマルチカーネルや非線形アプローチの性能と同等かそれを上回ることが多い。