[論文レビュー] An Out-of-the-box Full-network Embedding for Convolutional Neural Networks

Dario García-Gasulla, Armand Vilalta+6 more|arXiv (Cornell University)|May 22, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 7

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）の全層から正規化および離散化された特徴を統合する、フルネットワーク埋め込み手法を提案する。この手法は、単一層の埋め込みと比較して分類精度とロバスト性を顕著に向上させるとともに、計算コストを低減する。複数の画像分類ベンチマークにおいて最先端の性能を達成しており、特に事前学習モデルが不適切である場合やデータが限られる状況で顕著な効果を示す。

ABSTRACT

Transfer learning for feature extraction can be used to exploit deep representations in contexts where there is very few training data, where there are limited computational resources, or when tuning the hyper-parameters needed for training is not an option. While previous contributions to feature extraction propose embeddings based on a single layer of the network, in this paper we propose a full-network embedding which successfully integrates convolutional and fully connected features, coming from all layers of a deep convolutional neural network. To do so, the embedding normalizes features in the context of the problem, and discretizes their values to reduce noise and regularize the embedding space. Significantly, this also reduces the computational cost of processing the resultant representations. The proposed method is shown to outperform single layer embeddings on several image classification tasks, while also being more robust to the choice of the pre-trained model used for obtaining the initial features. The performance gap in classification accuracy between thoroughly tuned solutions and the full-network embedding is also reduced, which makes of the proposed approach a competitive solution for a large set of applications.

研究の動機と目的

• 事前学習済みCNNの全層からの表現を活用する、ハイパーパramータチューニングや微調整を必要としない即席の特徴抽出手法の開発。
• 全ネットワーク層にわたる特徴統合により、不適切または劣悪な事前学習モデルに対してもロバスト性を向上させる。
• 特徴値の離散化により、表現力は維持しつつ、下流学習の計算コストを低減する。
• 最小限のユーザーの専門知識や計算リソースで、画像分類タスクにおいて高い性能を達成する。
• 完全にチューニングされたモデルと単純なプラグアンドプレイな特徴抽出ソリューションとの間の性能格差を埋める。

提案手法

• 本手法は、各入力画像について、事前学習済みCNNの全層（畳み込み層および全結合層）の活性化を計算する。
• 各層ごとにzスコア標準化を用いて特徴を正規化し、文脈依存的かつ問題適応的な表現を実現する。
• 特徴値を3つのボックスに離散化する：{-1, 0, 1}。これによりノイズ低減と埋め込み空間の正則化が達成される。
• 離散化処理は全層にわたりグローバルに適用され、元の埋め込み次元数を保持する。
• 最終的な埋め込みは、全層からの正規化済みおよび離散化済み特徴を連結して得られる、高次元の1つのベクトルである。
• 下流分類にはSVMを用い、離散化によるスパarsityのおかげで学習速度が著しく向上する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNの全層からの特徴統合は、単一層の埋め込みと比較して特徴抽出性能を向上させ得るか？
• RQ2 不適切な事前学習モデルを用いる状況でも、特徴の正規化と離散化はロバスト性を向上させるか？
• RQ3 提案手法のフルネットワーク埋め込みは、下流学習における計算コストをどの程度低減するか？
• RQ4 分類精度の観点から、フルネットワーク埋め込みは徹底的にチューニングされたモデルと比較してどうなるか？
• RQ5 特徴解像度を低下させるにもかかわらず、離散化戦略は表現品質を維持または向上させるか？

主な発見

• フルネットワーク埋め込みは9つのデータセット全体で81.5%の平均精度を達成し、ベースラインの単一層埋め込み（78.7%）および{-v,0,v}離散化バージョン（80.0%）を上回った。
• Woodデータセットでは86.2%の精度を達成し、評価されたすべての手法の中で最高の報告結果であった。
• 不適切な事前学習モデル（例：mit67にImageNetを適用）を用いた場合、フルネットワーク埋め込みは平均で13.6%の性能低下にとどまる一方、ベースラインは21.2%の低下を示し、優れたロバスト性を示した。
• 離散化によるスパarsityのおかげで、フルネットワーク埋め込みは非離散化バージョンと比較してSVM学習を20〜100倍高速化できた。
• VGG19をVGG16の代わりに使用しても、最大で0.3%の性能差にとどまり、ネットワークの深さに対して不変であることが示された。
• フルネットワーク埋め込みは、出荷時ソリューションと徹底的にチューニングされたモデルとの間の性能格差を縮小し、リソースが限られた環境や専門知識のない状況でも競争力のある代替手段を提供した。