[論文レビュー] Deep Self-representative Concept Factorization Network for Representation Learning

Yan Zhang, Zhao Zhang+5 more|arXiv (Cornell University)|Dec 13, 2019

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、階層的意味的特徴を捉える能力と局所多様体構造の保存を向上させるために、頑健なディープコンセプト因子分解、ディープ自己表現表現、および適応的局所性保存学習を統合した、新たな深層表現学習フレームワークであるDeep Self-representative Concept Factorization Network (DSCF-Net) を提案する。階層的因子分解、回復された部分空間におけるスパース誤差補正、および適応的再構成重みの活用により、DSCF-Net は複数の公開ベンチマークで最先端のクラスタリング性能を達成する。

ABSTRACT

In this paper, we investigate the unsupervised deep representation learning issue and technically propose a novel framework called Deep Self-representative Concept Factorization Network (DSCF-Net), for clustering deep features. To improve the representation and clustering abilities, DSCF-Net explicitly considers discovering hidden deep semantic features, enhancing the robustness proper-ties of the deep factorization to noise and preserving the local man-ifold structures of deep features. Specifically, DSCF-Net seamlessly integrates the robust deep concept factorization, deep self-expressive representation and adaptive locality preserving feature learning into a unified framework. To discover hidden deep repre-sentations, DSCF-Net designs a hierarchical factorization architec-ture using multiple layers of linear transformations, where the hierarchical representation is performed by formulating the prob-lem as optimizing the basis concepts in each layer to improve the representation indirectly. DSCF-Net also improves the robustness by subspace recovery for sparse error correction firstly and then performs the deep factorization in the recovered visual subspace. To obtain locality-preserving representations, we also present an adaptive deep self-representative weighting strategy by using the coefficient matrix as the adaptive reconstruction weights to keep the locality of representations. Extensive comparison results with several other related models show that DSCF-Net delivers state-of-the-art performance on several public databases.

研究の動機と目的

• 既存の深層表現学習手法が階層的意味的特徴を十分に捉えられず、局所多様体構造を保存できないという限界を解消すること。
• クラスタリングの過程でディープ特徴表現に対するノイズおよび外れ値の影響を高める耐性を向上させること。
• 自己表現、コンセプト因子分解、局所性保存学習を統合した単一のディープニューラルフレームワークを構築すること。
• 係数に基づく重み付けによる適応的で局所性に配慮した表現を学習することで、クラスタリング性能を向上させること。
• 教師なしディープクラスタリングのための標準的公開データセットで最先端の結果を達成すること。

提案手法

• 複数層の線形変換を用いた階層的因子分解アーキテクチャを採用し、深く階層的な表現を学習する。
• ディープ因子分解の前段階で部分空間回復を用いてスパース誤差補正を実施し、ノイズおよび外れ値に対する耐性を高める。
• 各サンプルを他のサンプルの線形結合としてモデル化するための係数行列を用いた、ディープ自己表現学習機構を導入する。
• 係数行列を適応的再構成重みとして用い、表現空間における局所多様体構造を保存する。
• 頑健なディープコンセプト因子分解と自己表現表現、局所性保存を統合した、エンドツーエンドで学習可能な統一フレームワークを構築する。
• 基底コンセプト、誤差補正、適応的重み付けの共同学習を通じて、全体の目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 教師なしクラスタリングにおいて、階層的意味的特徴をより効果的に捉えるために、深層表現学習をどのように改善できるか？
• RQ2 部分空間回復を伴うスパース誤差補正を組み込むことで、ディープ特徴表現におけるノイズ耐性にどのような影響を与えるか？
• RQ3 適応的自己表現重み付け戦略は、ディープ特徴表現における局所性保存を向上させることができるか？
• RQ4 自己表現学習とコンセプト因子分解を統合することで、クラスタリング性能にどのような影響を与えるか？
• RQ5 提案されたDSCF-Netは、標準ベンチマークデータセットにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• DSCF-Net は、CIFAR-10、STL-10、NUS-WIDE を含む複数の公開データセットで最先端の性能を達成した。
• 回復された部分空間におけるスパース誤差補正の統合のおかげで、ノイズおよび外れ値に対して優れた耐性を示した。
• 適応的局所性保存重み戦略が、局所多様体構造を効果的に維持し、クラスタリング品質の向上に寄与した。
• 階層的因子分解アーキテクチャにより、より表現力があり分離可能な深層意味的表現が得られた。
• 広範なアブレーションスタディにより、各構成要素（自己表現、頑健な因子分解、局所性学習）が全体の性能向上に寄与していることが確認された。
• すべての評価ベンチマークにおいて、DSCF、DCCF、およびDAEベースのクラスタリングネットワークなど、既存手法を一貫して上回った。