[論文レビュー] Freehand Sketch Recognition Using Deep Features

Ravi Kiran Sarvadevabhatla, R. Venkatesh Babu|arXiv (Cornell University)|Feb 1, 2015

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 28

ひとこと要約

この論文では、事前学習済み畳み込みニューラルネットワーク（CNN）特徴量（ImageNetおよび変更版LeNet）を用いた手書きスケッチ認識のためのディーブラーニングフレームワークを提案する。CNNからの深層特徴量を抽出することで、最先端の手法よりも3%〜11%の認識精度の向上を達成し、スケッチベースの画像検索およびパーツに特化した分析において、これらの特徴量の有効性とコンパクトさを示している。

ABSTRACT

Freehand sketches often contain sparse visual detail. In spite of the sparsity, they are easily and consistently recognized by humans across cultures, languages and age groups. Therefore, analyzing such sparse sketches can aid our understanding of the neuro-cognitive processes involved in visual representation and recognition. In the recent past, Convolutional Neural Networks (CNNs) have emerged as a powerful framework for feature representation and recognition for a variety of image domains. However, the domain of sketch images has not been explored. This paper introduces a freehand sketch recognition framework based on "deep" features extracted from CNNs. We use two popular CNNs for our experiments -- Imagenet CNN and a modified version of LeNet CNN. We evaluate our recognition framework on a publicly available benchmark database containing thousands of freehand sketches depicting everyday objects. Our results are an improvement over the existing state-of-the-art accuracies by 3% - 11%. The effectiveness and relative compactness of our deep features also make them an ideal candidate for related problems such as sketch-based image retrieval. In addition, we provide a preliminary glimpse of how such features can help identify crucial attributes (e.g. object-parts) of the sketched objects.

研究の動機と目的

• 日常的な物体の手書きスケッチを認識するためのディープラーニングベースのフレームワークの開発。
• 低解像度・スパarsな視覚ドメインにおけるスケッチ認識に、事前学習済みCNN特徴量（ImageNetおよびLeNet）の有効性の評価。
• 深層特徴量がスケッチにおける物体パーツの相対的重要性を明らかにできるかの探求。
• 深層特徴量を用いて、既存の最先端のスケッチ認識精度を上回ること。
• スケッチベースの画像検索などの関連タスクにおける深層特徴量の実用的かつ効率的なソリューションとしての確立。

提案手法

• 事前学習済みImageNetおよび変更版LeNet CNNの最終畳み込み層（conv5）から深層特徴量を抽出する。
• ImageNet CNNと微調整されたLeNetバージョンを用い、スケッチ画像からの判別性の高い特徴量を抽出する。
• 物体カテゴリ分類のため、4096次元の深層特徴量に線形SVM分類器を適用する。
• ドーリングおよび回転を適用することでデータオーグメンテーションを実施し、テストセットを変更せずにトレーニングの多様性を向上させる。
• conv5層からのクラス活性化マップ（ヒートマップ）を生成し、スケッチ内の物体パーツの空間的重要性を可視化する。
• 3回のランダムシャッフルと8つのトレーニング/テスト分割における平均適合率を用いて、評価の堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 スケッチの視覚的詳細が疎であるにもかかわらず、事前学習済みの深層CNN特徴量は、手書きスケッチを効果的に認識できるか？
• RQ2 ImageNetおよびLeNet CNNからの深層特徴量は、スケッチ認識において性能でどのように比較されるか？
• RQ3 深層特徴量は、スケッチにおける物体パーツ（例：鼻、翼端）の相対的重要性を明らかにできるか？
• RQ4 既存の最先端手法と比較して、深層特徴量は認識精度をどの程度向上させるか？
• RQ5 深層特徴量は、スケッチベースの画像検索などの関連タスクに効率的に応用できるか？

主な発見

• ImageNet CNNベースの特徴抽出は、Rosáliaらの先行研究よりも3%〜11%の認識精度向上を達成した。
• ImageNet CNNは変更版LeNet CNNを上回り、単純なアーキテクチャとスケッチの多様性を捉える能力の制限により、劣った性能を示した。
• 4096次元の深層特徴量はコンパクトで効率的であり、先行研究で用いられた高次元のフィッシャー特徴量と比較して、メモリ使用量とトレーニング時間の両方を著しく削減した。
• ImageNet CNNのconv5層からのヒートマップは、飛行機のスケッチにおいて尾、鼻、翼端といった重要な物体パーツに空間的注目が集まっていることを示し、それらが判別に重要な役割を果たしていることを裏付けた。
• 深層特徴量のコンパクトさと判別力の高さのおかげで、スケッチベースの画像検索に強い可能性を示した。
• 結果から、深層特徴量はスケッチ表現の細分化分析を支援でき、物体パーツの認知的および視覚的処理に関する洞察を提供できる可能性がある。