[論文レビュー] Highly-Economized Multi-View Binary Compression for Scalable Image Clustering

Zheng Zhang, Li Liu+6 more|arXiv (Cornell University)|Sep 17, 2018

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 4

ひとこと要約

本稿では、統一的最適化を通じて、コン pact なバイナリ表現と頑健な離散的クラスタ構造を同時に学習することにより、スケーラブルなマルチビュー画像クラスタリングのための新規フレームワーク HSIC を提案する。$ε$-ノルム制約付きの離散最適化を用いて、各ビュー固有の情報と共有情報を利用することで、ユークリッド距離計算を効率的なXOR演算に置き換え、NUS-WIDE（100万の特徴量を含む）などの大規模データセットにおいて、$k$-meansと比較してメモリ使用量を95%削減し、実行時間を90%以上短縮する。その結果、最先端のクラスタリング性能を達成した。

ABSTRACT

How to economically cluster large-scale multi-view images is a long-standing problem in computer vision. To tackle this challenge, we introduce a novel approach named Highly-economized Scalable Image Clustering (HSIC) that radically surpasses conventional image clustering methods via binary compression. We intuitively unify the binary representation learning and efficient binary cluster structure learning into a joint framework. In particular, common binary representations are learned by exploiting both sharable and individual information across multiple views to capture their underlying correlations. Meanwhile, cluster assignment with robust binary centroids is also performed via effective discrete optimization under L21-norm constraint. By this means, heavy continuous-valued Euclidean distance computations can be successfully reduced by efficient binary XOR operations during the clustering procedure. To our best knowledge, HSIC is the first binary clustering work specifically designed for scalable multi-view image clustering. Extensive experimental results on four large-scale image datasets show that HSIC consistently outperforms the state-of-the-art approaches, whilst significantly reducing computational time and memory footprint.

研究の動機と目的

• 高次元の実数値特徴量と高価なユークリッド距離計算による、大規模マルチビュー画像クラスタリングにおけるスケーラビリティのボトル neck を解消すること。
• バイナリ表現学習と離散的クラスタ構造学習を統合的に最適化するフレームワークを構築し、効率性と性能を向上させること。
• コンパクトなバイナリ符号化により、連続値の演算を高速なバイナリXOR演算に置き換えることで、クラスタリングにおける計算およびメモリのオーバーヘッドを低減すること。
• 高精度のクラスタリングを維持しながら、メモリ容量と計算時間を最小限に抑えることで、リソース制約のあるデバイスへの実用的導入を可能にすること。
• 従来の単一ビューまたはマルチビュークラスタリング手法の限界を克服し、異種の複数のビュー間で共有情報と個別情報（個別的）をバイナリ空間に統合すること。

提案手法

• バイナリ表現と離散的クラスタ重心の両方を同時に学習する統合的最適化フレームワークを提案し、交互最適化を用いる。
• 安定したクラスタリング性能と高い安定性を実現するため、$ε$-ノルム制約付きの離散最適化モデルを用いて、頑健なバイナリクラスタ重心を学習する。
• 複数のビューにまたがる共有可能で、かつビュー固有（個別的）な情報を統合的に統一されたバイナリコード表現に組み込むことで、視覚間相関を保持する。
• データを低次元のハミング空間にマッピングすることで、高価な実数値のユークリッド距離計算を効率的なバイナリXOR演算に置き換える。
• 交互最適化アルゴリズムを用いて、両者の離散的最適化問題を解き、バイナリコードとクラスタ割り当ての両方に対して高品質な離散解を保証する。
• バイナリコード学習における各ビューの重要度を動的にバランスさせるため、適応的重み学習を適用し、表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 バイナリ表現と離散的クラスタ構造の両方を統合的に学習するフレームワークは、大規模マルチビュー画像クラスタリングにおけるスケーラビリティと性能を顕著に向上させ得るか？
• RQ2 異種の複数のビューにまたがる共有情報と個別情報の統合は、バイナリ空間におけるクラスタリング性能にどのように影響を与えるか？
• RQ3 実数値のユークリッド距離計算をバイナリXOR演算に置き換えることで、計算コストとメモリ使用量をどの程度削減できるか、かつクラスタリング精度を損なわないか？
• RQ4 大規模データセット上での精度、速度、メモリ効率の観点から、本手法は最先端の実数値およびバイナリクラスタリング手法と比較してどのように差をつけるか？
• RQ5 本手法は、クラスタ数やコード長の変動に対して頑健であり、最適なクラスタ構成を適応的に同定できるか？

主な発見

• HSICは、4つの大規模マルチビューデータセットにおいて、実数値およびバイナリクラスタリングのベースラインを常に上回る最先端のクラスタリング性能を達成した。
• 5つのビューと約100万の特徴量を含むNUS-WIDEデータセットでは、HSICは81秒でクラスタリングを完了し、メモリ使用量はたったの5.52MBであるのに対し、$k$-meansは29分と961MBを要した。
• HSICは、$k$-meansと比較して、メモリ使用量を95%以上削減し、計算速度を90%以上向上させた。これは、強力なスケーラビリティを示している。
• 短いコード長でも高い性能を維持でき、コード長が32ビットを超えると、$k$-meansを上回る性能を発揮した。
• アブレーションスタディの結果、バランス制約や独立性制約などの任意のコンポonentを除去すると性能が著しく低下することが確認され、統合的設計の必要性が裏付けられた。
• HSICはクラスタ数の変動に対しても強く適応可能であり、Cifar-10では10クラスタで最適性能を発揮した。また、全テストされたクラスタ数において、常に上位3位以内にランクインした。