[論文レビュー] Improving Image Clustering With Multiple Pretrained CNN Feature Extractors

Joris Guérin, Boots, Byron|arXiv (Cornell University)|Jul 20, 2018

Advanced Clustering Algorithms Research参考文献 21被引用数 14

ひとこと要約

本稿では、複数の事前学習済みCNNを補完的ビューとして活用し、エンドツーエンドのマルチインプットニューラルネットワーク（DMVC）を用いてクラスタリングと特徴抽出を共同最適化することで、画像クラスタリングの性能を向上させる2段階アプローチを提案する。本手法は、単一の特徴抽出器の任意選択を排除し、エンドツーエンド学習によって統一的でコンパクトな表現を学習することで、VOC2007、COIL100、UMistの各データセットで最先端の性能を達成する。

ABSTRACT

For many image clustering problems, replacing raw image data with features extracted by a pretrained convolutional neural network (CNN), leads to better clustering performance. However, the specific features extracted, and, by extension, the selected CNN architecture, can have a major impact on the clustering results. In practice, this crucial design choice is often decided arbitrarily due to the impossibility of using cross-validation with unsupervised learning problems. However, information contained in the different pretrained CNN architectures may be complementary, even when pretrained on the same data. To improve clustering performance, we rephrase the image clustering problem as a multi-view clustering (MVC) problem that considers multiple different pretrained feature extractors as different "views" of the same data. We then propose a multi-input neural network architecture that is trained end-to-end to solve the MVC problem effectively. Our experimental results, conducted on three different natural image datasets, show that: 1. using multiple pretrained CNNs jointly as feature extractors improves image clustering; 2. using an end-to-end approach improves MVC; and 3. combining both produces state-of-the-art results for the problem of image clustering.

研究の動機と目的

• 単一の事前学習済みCNNの任意選択が画像クラスタリングの性能に顕著に影響することへの対処。
• 複数の事前学習済みCNNが提供する補完的情報がクラスタリング性能を向上させることの検証。
• 特徴抽出とクラスタリングを共同最適化するエンドツーエンドのディープマルチビュークラスタリングフレームワークの開発。
• 複数のCNNをマルチビューとして扱うことで、特徴抽出器選定における手動による設計選択の必要性を排除すること。
• 事前学習特徴を用いたマルチビュークラスタリングにより、画像クラスタリングの新しいベンチマークの確立。

提案手法

• 複数の事前学習済みCNNから特徴を抽出し、それぞれを同一データの別々のビューとして扱うことにより、画像クラスタリングをマルチビュークラスタリング（MVC）問題に再定式化する。
• 異なるCNNからの特徴を並列に処理し、共有で統一された表現を学習するマルチインプットニューラルネットワークアーキテクチャ（MVnet）を提案する。
• JULEディープクラスタリングフレームワークを用いて、エンドツーエンドでパイプライン全体を訓練し、クラスタリング割り当てと特徴表現を共同最適化する。
• クラスタリング損失と再構成損失を組み合わせた共同損失関数を用い、複数のビュー間で統一された表現を精緻化する。
• 中間表現に対してt-SNE可視化とKMeansクラスタリングを適用し、パイプラインの各段階における特徴のコンパクトさと分離性を分析する。
• VOC2007、COIL100、UMistの3つのベンチマークデータセットで本手法を評価し、最先端のクラスタリングベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 複数の事前学習済みCNNからの特徴を組み合わせることで、単一のCNNを用いる場合と比較して画像クラスタリング性能が向上するか？
• RQ2 マルチビュークラスタリングネットワークのエンドツーエンド学習は、段階的最適化よりも優れたクラスタリング結果をもたらすか？
• RQ3 提案されたエンドツーエンドフレームワークが学習する表現は、個々のCNNや固定特徴抽出器のものよりもコンパクトで良好に分離されているか？
• RQ4 本手法により、非教師あり画像クラスタリングにおける単一CNNアーキテクチャの任意選択の必要性を排除できるか？
• RQ5 同じImageNetデータセットで学習された異なる事前学習済みCNNは、補完的情報を提供するか？

主な発見

• 複数の事前学習済みCNNとエンドツーエンドのマルチビュークラスタリング（DMVC）を組み合わせた本手法は、VOC2007、COIL100、UMistの各データセットで最先端の性能を達成する。
• 複数のCNNをビューとして用いることで、任意の1つのCNNを用いる場合よりもクラスタリング性能が向上し、UMistデータセットではNMIがInceptionV3の0.624からDMVCの0.786に上昇する。
• DMVCフレームワークのエンドツーエンド学習により、中間表現に対するKMeansクラスタリングの結果として、よりコンパクトで良好に分離されたクラスタが得られ、UMistではNMIがDMVC-fixの0.759から0.973に上昇する。
• t-SNE可視化により、最終的なDMVC表現が個々のCNNのものや中間段階のものよりもより判別力があり、良好に分離されていることが確認される。
• 本手法は、JULEや他のMVCアプローチを含む強力なベースラインをすべての3つのデータセットで上回り、共同マルチビュー学習の有効性を示す。
• アブレーションスタディの結果、ResNet50単体でも高い性能（VOC2007ではNMI = 0.997）を達成するが、他のネットワークと組み合わせることでさらに性能向上が見られ、アーキテクチャ間で補完的知識が存在することが示唆される。