[論文レビュー] Unsupervised Part Mining for Fine-grained Image Classification

Jian Zhang, Runsheng Zhang+2 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Neural Network Applications参考文献 43被引用数 7

ひとこと要約

本稿では、事前学習された畳み込みニューラルネットワーク（CNN）の特徴マップに対するパターンマイニングを用いて、アノテーションを一切用いずに判別的な部分を局所化する非教師付き部品マイニング（UPM）手法を提案する。頻度の高い共起パターンを発見し、それらをクラスタリングすることで、分類精度を向上させる重要な部分を同定する。CUB-200-2011、Stanford Cars、FGVC-Aircraftのデータセットで最先端の性能を達成し、画像レベルまたはオブジェクトレベルのアノテーションを必要とする手法を上回り、それぞれ92.3%および90.0%のトップ-1精度を達成した。

ABSTRACT

Fine-grained image classification remains challenging due to the large intra-class variance and small inter-class variance. Since the subtle visual differences are only in local regions of discriminative parts among subcategories, part localization is a key issue for fine-grained image classification. Most existing approaches localize object or parts in an image with object or part annotations, which are expensive and labor-consuming. To tackle this issue, we propose a fully unsupervised part mining (UPM) approach to localize the discriminative parts without even image-level annotations, which largely improves the fine-grained classification performance. We first utilize pattern mining techniques to discover frequent patterns, i.e., co-occurrence highlighted regions, in the feature maps extracted from a pre-trained convolutional neural network (CNN) model. Inspired by the fact that these relevant meaningful patterns typically hold appearance and spatial consistency, we then cluster the mined regions to obtain the cluster centers and the discriminative parts surrounding the cluster centers are generated. Importantly, any annotations and sophisticated training procedures are not used in our proposed part localization approach. Finally, a multi-stream classification network is built for aggregating the original, object-level and part-level features simultaneously. Compared with other state-of-the-art approaches, our UPM approach achieves the competitive performance.

研究の動機と目的

• 微細分類の課題に対処すること。これは、局所的な違いが微細であるため、クラス内ばらつきが大きく、クラス間ばらつきが小さいことが要因である。
• 部品局所化に高価な人手によるオブジェクトまたは部品のバウンディングボックスアノテーションを必要としないようにすることで、スケーラビリティを制限する要因を排除すること。
• 画像レベルのラベルが一切不要な完全な非教師付き手法を開発し、事前学習済みCNN特徴とパターンマイニングのみを用いて判別的な部品を局所化すること。
• マルチストリームネットワークを用いて、部品レベルの特徴とグローバルおよびオブジェクトレベルの特徴を統合することで分類性能を向上させること。

提案手法

• データセット上の事前学習済みCNN（例：VGG-16 や ResNet-50）の複数の畳み込み層から深層特徴を抽出する。
• 特徴マップをパターンマイニングに適したトランザクション形式に変換し、各空間的位置を特徴値のトランザクションとして扱う。
• 頻度の高い共起パターンを発見するためのパターンマイニング技術を適用し、特徴空間内に視覚的に意味のあるかつ空間的に一貫性のある領域に対応する。
• 抽出された高頻度パターンをk-meansを用いてクラスタリングし、そのクラスタ中心を特定。中心の周囲の局所領域を候補となる判別的な部品として抽出する。
• 局所化された部品を部品レベルの特徴として扱い、元の画像およびオブジェクトレベルの特徴と組み合わせ、マルチストリーム分類ネットワークに統合する。
• 元の特徴、オブジェクト特徴、部品特徴の3レベルの特徴を用いて、分類を共同最適化するように、マルチストリームネットワークをエンド・トゥ・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 画像レベルのラベルでさえも使用しない完全な非教師付き条件下で、判別的な部品を効果的に局所化できるか？
• RQ2 CNN活性化マップに対するパターンマイニングが、信頼性があり意味のある判別的な局所領域を効果的に特定できるか？
• RQ3 弱教師付きまたは完全教師付きの部品局所化手法と比較して、非教師付き部品マイニングは分類性能および学習の複雑さにおいてどのように差をつけるか？
• RQ4 グローバルおよびオブジェクトレベルの特徴と部品レベルの特徴を統合することで、複数の微細分類ベンチマークデータセットにおいて一貫した性能向上が得られるか？

主な発見

• UPM（ResNet-50）は、Stanford Carsデータセットで92.3%のトップ-1精度を達成し、オブジェクトアノテーションを用いたFCAN（91.3%）を1.0%上回った。
• FGVC-Aircraftデータセットでは、UPM（ResNet-50）が90.0%の精度を達成し、オブジェクトアノテーションを用いたMG-CNN（86.6%）を3.4%、オブジェクトアノテーションなしのB-CNNを約5.9%の相対的向上率で上回った。
• バウンディングボックスや部品アノテーションを用いる最先端のモデルと比較しても競争力のある性能を示した。これは、非教師付き部品マイニングが教師ありベースラインと同等またはそれを上回ることを示している。
• CUB-200-2011では、部品特徴を統合したマルチストリームネットワークが、元の特徴とオブジェクトストリーム特徴の組み合わせのみに比べ、1.0%の相対的向上を達成した。
• トレーニングやアノテーションを一切行わず、事前学習済み特徴とパターンマイニングに依存するため、実世界の応用において非常にスケーラブルで実用的である。