[論文レビュー] Multilayer Collaborative Low-Rank Coding Network for Robust Deep Subspace Discovery

Xianzhen Li, Zhao Zhang+4 more|arXiv (Cornell University)|Dec 13, 2019

Sparse and Compressive Sensing Techniques参考文献 45被引用数 7

ひとこと要約

この論文では、階層的特徴量と部分空間を、層間で双線形低ランク表現を用いて反復的にデータを再構築することで学習する、マルチレイヤー協調的低ランク符号化ネットワークであるDeepLRRを提案する。ノイズに対する耐性を高め、局所的構造を再構築することで部分空間の発見性を向上させ、公開ベンチマークにおいて既存のモデルを上回る性能を発揮する。

ABSTRACT

For subspace recovery, most existing low-rank representation (LRR) models performs in the original space in single-layer mode. As such, the deep hierarchical information cannot be learned, which may result in inaccurate recoveries for complex real data. In this paper, we explore the deep multi-subspace recovery problem by designing a multilayer architecture for latent LRR. Technically, we propose a new Multilayer Collabora-tive Low-Rank Representation Network model termed DeepLRR to discover deep features and deep subspaces. In each layer (>2), DeepLRR bilinearly reconstructs the data matrix by the collabo-rative representation with low-rank coefficients and projection matrices in the previous layer. The bilinear low-rank reconstruc-tion of previous layer is directly fed into the next layer as the input and low-rank dictionary for representation learning, and is further decomposed into a deep principal feature part, a deep salient feature part and a deep sparse error. As such, the coher-ence issue can be also resolved due to the low-rank dictionary, and the robustness against noise can also be enhanced in the feature subspace. To recover the sparse errors in layers accurately, a dynamic growing strategy is used, as the noise level will be-come smaller for the increase of layers. Besides, a neighborhood reconstruction error is also included to encode the locality of deep salient features by deep coefficients adaptively in each layer. Extensive results on public databases show that our DeepLRR outperforms other related models for subspace discovery and clustering.

研究の動機と目的

• 複雑なデータのための深層階層的特徴を捉えることができない単層低ランク表現（LRR）モデルの限界を解消すること。
• 深層構造情報のモデル化が不十分であるために、現実世界のデータにおける部分空間回復が不正確になる問題を克服すること。
• 複数のレイヤーにわたって低ランク表現、顕著な特徴、スパース誤差を同時に学習する深層アーキテクチャを開発すること。
• レイヤーの増加に伴い動的にスパース誤差回復を適応させることで、ノイズに対する耐性を高めること。
• 各レイヤーで局所的構造を適応的に再構築することで、深層特徴の局所的構造を保持すること。

提案手法

• DeepLRRは、各レイヤーが前のレイヤーからの低ランク係数と射影行列を用いて双線形再構築を実行するマルチレイヤー構造を採用する。
• モデルは双線形再構築を、深層主成分特徴、深層顕著特徴、深層スパース誤差の3つの成分に分解する。
• スパース誤差回復に動的成長戦略を適用し、ノイズレベルが低下するに従い、深さが増すにつれて精度が向上する。
• 各レイヤーに局所的構造の適応的符号化を可能にするために、近傍再構築誤差を統合する。
• 各レイヤーにおける低ランク辞書は、相互相関を低減し、表現の安定性を向上させる。
• ネットワーク全体をエンドツーエンドで訓練し、低ランク項、スパース項、局所的再構築項を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー構造により、単層LRRモデルを越えた階層的特徴表現を捉えることで、深層部分空間発見を向上させることができるか？
• RQ2 低ランク符号化を複数レイヤーにわたって拡張することで、現実世界のデータにおけるノイズ耐性を高められるか？
• RQ3 レイヤー間で動的スパース誤差回復を適用することで、再構築精度と部分空間クラスタリング性能がどの程度向上するか？
• RQ4 近傍再構築誤差を組み込むことで、深層表現学習における局所的特徴の保持がどのように向上するか？
• RQ5 提案されたマルチレイヤー協調的低ランク符号化フレームワークは、既存の最先端部分空間クラスタリングモデルを上回るか？

主な発見

• DeepLRRは、部分空間クラスタリングの複数の公開データセットで最先端の性能を達成し、既存のLRRベースおよび深層部分空間学習モデルを上回る。
• 動的スパース誤差回復戦略により、ノイズ耐性が顕著に向上し、特にノイズレベルが低下する深いレイヤーで顕著である。
• 近傍再構築誤差を組み込むことで、局所的データ構造の保持が向上し、クラスタリング精度が向上する。
• マルチレイヤー設計により、階層的特徴抽象化を活用して、複雑で高次元のデータの回復がより正確に可能になる。
• 実世界データにおいても強力な一般化性能を示し、Extended YaleB、CMU-PIE、MNISTなどのベンチマークデータセットで一貫した改善が得られる。