[論文レビュー] CNN features are also great at unsupervised classification

Joris Guérin, Olivier Gibaru+2 more|arXiv (Cornell University)|Jul 6, 2017

Advanced Neural Network Applications参考文献 32被引用数 69

ひとこと要約

この論文は、ImageNetで事前学習されたCNNから抽出された特徴量—単純なクラスタリング手法と組み合わせることで—オブジェクト分類および細分化分類のための非教師あり画像セットクラスタリングにおいて、最先端の性能を達成することを示している。このアプローチは、複雑で手作業で設計されたクラスタリング手法を上回っており、教師ありCNN特徴量の非教師ありタスクへの強力な転送性を示している。

ABSTRACT

This paper aims at providing insight on the transferability of deep CNN features to unsupervised problems. We study the impact of different pretrained CNN feature extractors on the problem of image set clustering for object classification as well as fine-grained classification. We propose a rather straightforward pipeline combining deep-feature extraction using a CNN pretrained on ImageNet and a classic clustering algorithm to classify sets of images. This approach is compared to state-of-the-art algorithms in image-clustering and provides better results. These results strengthen the belief that supervised training of deep CNN on large datasets, with a large variability of classes, extracts better features than most carefully designed engineering approaches, even for unsupervised tasks. We also validate our approach on a robotic application, consisting in sorting and storing objects smartly based on clustering.

研究の動機と目的

• この論文は、大規模で多様なデータセットで事前学習された深層CNNの特徴量が、非教師あり画像クラスタリングタスクに効果的に転送可能かどうかを調査する。
• 本研究は、CNN特徴抽出 followed 通常のクラスタリングというシンプルなパイプラインの性能を、最先端の非教師あり画像セットクラスタリングアルゴリズムと比較して評価することを目的としている。
• 本研究は、照明や背景の変動にさらされる実世界のロボットオブジェクト分類・保管アプリケーションにおいて、このアプローチの有効性を検証している。
• 本研究は、背景、照明、オブジェクトの向きの変動に対する耐性を評価するための、新たな挑戦的なベンチマークデータセットを導入している。
• 今後の非教師あり画像クラスタリング分野の進展は、より良い表現学習に焦点を当てるべきか、それともより大規模で多様な学習データセットに焦点を当てるべきかを理解することを目的としている。

提案手法

• 本手法は、Kerasから入手可能な事前学習済みCNN（ResNet50, InceptionV3, VGG16, VGG19, Xception）を用い、ImageNetで微調整されたモデルから画像セットの深層特徴量を抽出する。
• 特徴量は、CNNの最終全結合層から抽出され、高レベルの意味的表現を捉えている。
• 抽出された特徴量に、さらにチューニングや適応処理を施さずに、標準的なクラスタリングアルゴリズム（K-means、スペクトルクラスタリング、その他の手法）を直接適用する。
• パイプラインは、複数の公開データセットおよび、照明、背景、オブジェクトの向きの変動を伴う、新たに構築された画像クラスタリング用の困難なデータセットで評価されている。
• 性能は、純度、NMI（正規化相互情報量）、クラスタリング精度といった標準的な指標で測定されている。
• 本手法は、非教師あり画像クラスタリングのみを用いて、オブジェクトの意味的コンテンツに基づき分類・保管するロボット分類システムに適用されている。

実験結果

リサーチクエスチョン

• RQ1 単純なクラスタリング手法と組み合わせた、事前学習済みImageNet CNNの特徴量が、最先端の非教師あり画像セットクラスタリングアルゴリズムを上回る性能を発揮できるか？
• RQ2 実世界のロボットアプリケーションにおいて、照明、背景、オブジェクトの向きの変動に対して、CNN＋クラスタリングパイプラインの耐性はどの程度か？
• RQ3 オブジェクトのグループ化がImageNetで強調されていないシーンクラスタリングタスクでは、このパイプラインの性能が低下するか？
• RQ4 クラス内類似度とクラス間類似度の程度が、提案手法のクラスタリング性能にどの程度影響を及ぼすか？
• RQ5 提案されたパイプラインは、今後の非教師あり画像クラスタリング分野の研究における強力でシンプルなベースラインとして機能できるか？

主な発見

• 事前学習済みImageNet CNNから特徴量を抽出し、標準的なクラスタリングを適用するシンプルなパイプラインが、複数のベンチマークで、より複雑な最先端の非教師あり画像セットクラスタリングアルゴリズムを上回っている。
• 新たに導入された耐性評価用データセットにおいて、本手法は厳しい照明および背景条件（条件4）下で平均NMIスコア0.71、純度0.69を達成し、強い耐性を示している。
• オブジェクトカテゴリ内の細分化分類において、ペンでは純度1.0、クラampsでは純度0.83を達成しており、クラス内類似度が非常に高いオブジェクトに対して優れた性能を示している。
• 標準条件下でのロボット分類アプリケーションにおいて、本手法は100％の成功率を達成しており、クラmpsやスクリューブラボなど、クラス内類似度が低いオブジェクトに対しても対応可能である。
• 結果から、CNN特徴量の非教師ありタスクへの転送性が極めて強く、今後の研究は、複雑な表現学習アーキテクチャーよりも、より大規模で多様なデータセットに焦点を当てる方が有益である可能性が示唆されている。
• 本研究は、性能の主な低下要因がCNN特徴量そのものではなく、ペンやUSBなど、クラス内類似度が低くクラス間類似度が高い特定のオブジェクトクラスに起因することを明らかにしている。