[論文レビュー] CNN-Based Joint Clustering and Representation Learning with Feature Drift Compensation for Large-Scale Image Data

Chih–Chung Hsu, Chia‐Wen Lin|arXiv (Cornell University)|May 19, 2017

Advanced Image and Video Retrieval Techniques参考文献 3被引用数 9

ひとこと要約

本稿では、大規模な画像データセットにおける統合的クラスタリングおよび表現学習のためのCNNベースの手法を提案する。勾配降下法を用いて反復的に特徴量とクラスタ重心を最適化することで、表現誤差を低減するための特徴量ドリフト補償機構を導入し、数百万枚の画像データセットにおいて最先端の精度と低いストレージ複雑性を達成した。

ABSTRACT

Given a large unlabeled set of images, how to efficiently and effectively group them into clusters based on extracted visual representations remains a challenging problem. To address this problem, we propose a convolutional neural network (CNN) to jointly solve clustering and representation learning in an iterative manner. In the proposed method, given an input image set, we first randomly pick k samples and extract their features as initial cluster centroids using the proposed CNN with an initial model pre-trained from the ImageNet dataset. Mini-batch k-means is then performed to assign cluster labels to individual input samples for a mini-batch of images randomly sampled from the input image set until all images are processed. Subsequently, the proposed CNN simultaneously updates the parameters of the proposed CNN and the centroids of image clusters iteratively based on stochastic gradient descent. We also proposed a feature drift compensation scheme to mitigate the drift error caused by feature mismatch in representation learning. Experimental results demonstrate the proposed method outperforms start-of-the-art clustering schemes in terms of accuracy and storage complexity on large-scale image sets containing millions of images.

研究の動機と目的

• 大規模なラベルなし画像データセットを、深層特徴量を用いて効率的にクラスタリングする課題に対処すること。
• エンドツーエンドで反復的に、表現学習とクラスタリングを統合的に最適化すること。
• 表現学習中に生じる分布シフトに起因する特徴量ドリフトを軽減すること。
• 大規模な画像コレクションにおいて高いクラスタリング精度を維持しながら、ストレージ複雑性を低減すること。
• 大規模なベンチマークにおいて、既存のクラスタリング手法と比較して優れた性能を達成すること。

提案手法

• 初期のクラスタ重心は、事前学習済みのImageNet CNNを用いてランダムに選択されたk枚の画像から特徴量を抽出することで初期化される。
• ミニバッチk-meansを用いて、画像バッチにクラスタラベルを割り当てることで、大規模データセットのスケーラブルな処理を実現する。
• 反復的な最適化ループにおいて、CNNとクラスタ重心を確率的勾配降下法を用いて同時に更新する。
• 反復処理における特徴量表現の分布シフトを補正するための特徴量ドリフト補償方式を導入する。
• 特徴量抽出、クラスタ割り当て、パラメータ／重心の更新を交互に繰り返すことで、表現とクラスタ構造の両方を改善する。
• CNNの初期化にImageNetからの転移学習を活用することで、収束性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 CNNを用いた統合的表現学習とクラスタリングは、分離学習アプローチに比べ、大規模な画像データにおいてより高い精度を達成できるか？
• RQ2 反復学習中の特徴量ドリフトがクラスタリング性能に与える影響は何か？ また、その影響を効果的に軽減できるか？
• RQ3 本手法は、数百万枚の画像にスケーリングしても、低ストレージ複雑性を維持できるか？
• RQ4 特徴量と重心の統合最適化は、逐次的または独立した学習戦略と比較して、どのように異なるか？
• RQ5 特徴量ドリフト補償機構は、クラスタリングの安定性と精度をどの程度向上させるか？

主な発見

• 提案手法は、数百万枚の画像を含む大規模な画像データセットにおいて、最先端のクラスタリング精度を達成した。
• 既存のクラスタリング方式と比較してストレージ複雑性を低減し、大規模応用に向けたスケーラビリティを向上させた。
• 特徴量ドリフト補償機構により、反復処理における表現誤差が顕著に低減され、クラスタリング性能が向上した。
• CNNパラメータとクラスタ重心の統合最適化により、分離学習に比べてより優れた特徴量表現が得られた。
• 複数のベンチマークデータセットにおいて、収束性と汎用性に優れた性能を示し、先行するSOTA手法を精度と効率の両面で上回った。
• 実験結果から、反復的精錬プロセスが、追加計算コストを最小限に抑えつつクラスタリング品質を向上させることを確認した。