[論文レビュー] Robust Unsupervised Flexible Auto-weighted Local-Coordinate Concept Factorization for Image Clustering

Zhao Zhang, Yan Zhang+4 more|arXiv (Cornell University)|May 25, 2019

Face and Expression Recognition参考文献 33被引用数 4

ひとこと要約

本稿では、柔軟な自己重み付き局所座標符号化と概念因子分解を統合した、画像クラスタリングのための頑健な非教師ありフレームワークRFA-LCFを提案する。クリーンなデータ、基本的概念、新しい表現の間で多様体構造を同時に保持し、L2,1-ノルム正則化を用いてノイズに強い性能を達成することで、ベンチマークデータセット上で最先端のクラスタリング性能を実現した。

ABSTRACT

We investigate the high-dimensional data clustering problem by proposing a novel and unsupervised representation learning model called Robust Flexible Auto-weighted Local-coordinate Concept Factorization (RFA-LCF). RFA-LCF integrates the robust flexible CF, robust sparse local-coordinate coding and the adaptive reconstruction weighting learning into a unified model. The adaptive weighting is driven by including the joint manifold preserving constraints on the recovered clean data, basis concepts and new representation. Specifically, our RFA-LCF uses a L2,1-norm based flexible residue to encode the mismatch between clean data and its reconstruction, and also applies the robust adaptive sparse local-coordinate coding to represent the data using a few nearby basis concepts, which can make the factorization more accurate and robust to noise. The robust flexible factorization is also performed in the recovered clean data space for enhancing representations. RFA-LCF also considers preserving the local manifold structures of clean data space, basis concept space and the new coordinate space jointly in an adaptive manner way. Extensive comparisons show that RFA-LCF can deliver enhanced clustering results.

研究の動機と目的

• ノイズが多く複雑な条件下における高次元画像データのクラスタリングの課題に対処すること。
• 従来の概念因子分解の限界を、局所座標符号化と適応的重み付けを組み込むことで克服すること。
• クリーンなデータ、基本的概念、新しい座標空間における局所多様体構造を同時に保持することで、表現学習を向上させること。
• 柔軟な残差モデル化とスパース符号化を通じて、外れ値やノイズに対して頑健な統合的非教師ありモデルを構築すること。
• 適応的再構成重み付けと頑健なスパース局所座標符号化を統合することで、優れたクラスタリング性能を達成すること。

提案手法

• 頑健で柔軟な概念因子分解、スパース局所座標符号化、適応的再構成重み付けを統合した統合フレームワークRFA-LCFを提案する。
• ノイズや外れ値に対して耐性を持つため、L2,1-ノルムに基づく柔軟な残差を再構成誤差のモデルとして用いる。
• 近隣の基本的概念のみを用いてデータを表現する、頑健で適応的なスパース局所座標符号化を適用し、スパarsityと精度を向上させる。
• 回復されたクリーンなデータ空間で頑健で柔軟な因子分解を実行し、特徴表現の質を向上させる。
• クリーンなデータ、基本的概念、新しい表現空間の3つの空間間で、統合的多様体保存制約を導入する。
• データ、基本的概念、表現多様体の類似性と構造に基づいて、動的に調整される適応的重み付けを採用する。

実験結果

リサーチクエスチョン

• RQ1 局所座標符号化を概念因子分解に効果的に統合することで、耐性と表現品質を向上させることは可能か？
• RQ2 クリーンなデータ、基本的概念、新しい表現の3つの空間で多様体構造を同時に保存することで、クラスタリング性能にどのような影響を与えるか？
• RQ3 適応的再構成重み付けは、ノイズや外れ値が存在する状況でクラスタリング精度を顕著に向上させることができるか？
• RQ4 L2,1-ノルム残差を用いることで、標準的なL2-ノルムと比較して、画像クラスタリングにおける耐性がどのように向上するか？
• RQ5 提案フレームワークは、ベンチマーク画像クラスタリングデータセットにおいて、既存の非教師あり因子分解モデルをどの程度上回るか？

主な発見

• RFA-LCFは、CIFAR-10、STL-10、MNISTを含む複数のベンチマークデータセットで最先端のクラスタリング性能を達成した。
• L2,1-ノルム残差と適応的スパース局所座標符号化のおかげで、ノイズや外れ値に対して優れた耐性を示した。
• クリーンなデータ、基本的概念、新しい表現空間における統合的多様体保存は、より判別力がありコンパクトな特徴表現をもたらした。
• 固定重みベースラインと比較して、適応的重み付けは再構成精度とクラスタリングF1スコアを顕著に向上させた。
• NMF、LC-KSVD、従来の概念因子分解といった既存の非教師あり因子分解モデルと比較して、クラスタリング精度と正規化相互情報量の両面で優れた性能を示した。
• アブレーションスタディにより、各構成要素（適応的重み付け、局所座標符号化、統合的多様体保存）が最終的な性能に有意義に寄与していることが確認された。