[論文レビュー] Deep Subspace Clustering Networks

Pan Ji, Tong Zhang+3 more|arXiv (Cornell University)|Sep 8, 2017

Video Surveillance and Tracking Methods参考文献 43被引用数 7

ひとこと要約

本稿では、非線形部分空間における教師なしクラスタリングを可能にする、微分可能で非線形な自己表現層を備えた深層自己符号化器アーキテクチャであるDeep Subspace Clustering Networks (DSC-Nets)を提案する。この手法は、事前学習とファインチューニング戦略を用いたエンド・ツー・エンド学習により、データ依存の非線形写像を明示的に学習することで、顔および物体データセットにおいて最先端の部分空間クラスタリング技術を上回る性能を達成する。

ABSTRACT

We present a novel deep neural network architecture for unsupervised subspace clustering. This architecture is built upon deep auto-encoders, which non-linearly map the input data into a latent space. Our key idea is to introduce a novel self-expressive layer between the encoder and the decoder to mimic the "self-expressiveness" property that has proven effective in traditional subspace clustering. Being differentiable, our new self-expressive layer provides a simple but effective way to learn pairwise affinities between all data points through a standard back-propagation procedure. Being nonlinear, our neural-network based method is able to cluster data points having complex (often nonlinear) structures. We further propose pre-training and fine-tuning strategies that let us effectively learn the parameters of our subspace clustering networks. Our experiments show that the proposed method significantly outperforms the state-of-the-art unsupervised subspace clustering methods.

研究の動機と目的

• 非線形部分空間に位置するデータを扱う際に線形部分空間クラスタリング手法に見られる限界を解消すること。
• 部分空間クラスタリングに適した非線形データ写像を明示的に学習できる深層ニューラルネットワークフレームワークの開発。
• データポイント間のペairwise類似度をエンド・ツー・エンドで学習可能にする、微分可能な自己表現層の導入。
• 限られたデータで教師なしに効果的に学習できる、効果的な事前学習およびファインチューニング戦略の設計。
• ORL、拡張Yale B、COIL20、COIL100などの困難なデータセットにおいて優れたクラスタリング性能を示すこと。

提案手法

• 本手法は、エンコーダ層を介して入力データを低次元の潜在空間に非線形にマップする深層自己符号化器に基づく。
• エンコーダとデコーダの間に、バイアスや活性化関数を備えない全結合層としての、新規の自己表現層を挿入し、部分空間の和集合におけるデータの自己表現性を強制する。
• この自己表現層は、各データポイントを他のデータポイントの線形結合として表現する係数を学習し、データ依存の類似度行列を形成する。
• 全ネットワークはバックプロパゲーションにより訓練され、再構成誤差と正則化項を組み合わせた損失関数が、耐障害性を向上させる。
• 事前学習では標準的な自己符号化器の訓練により自己符号化器の重みを初期化し、その後、クラスタリング性能最適化のためのDSC-Net全体の目的関数を用いたファインチューニングを実施する。
• データが限られるデータセットでは、過学習を低減するため、深層ボトルネックアーキテクチャよりもチャンネル数を増加させる次元拡張を施した浅いネットワークが好ましい。

実験結果

リサーチクエスチョン

• RQ1 事前定義されたカーネル関数に依存せずに、教師なしクラスタリングのための非線形部分空間構造を効果的に学習できる深層ニューラルネットワークアーキテクチャは存在するか？
• RQ2 部分空間クラスタリングの自己表現性が、微分可能なディープラーニングフレームワークにどのように組み込まれるか？
• RQ3 限られたデータで教師なしに効果的なエンド・ツー・エンド学習を可能にする訓練戦略は何か？
• RQ4 提案手法は、線形および非線形な多様体を持つデータに対して、既存の最先端の部分空間クラスタリング手法を上回る性能を示すか？
• RQ5 なぜCOIL20やCOIL100のような物体画像データセットでは、浅く次元拡張を施したネットワークが深層ボトルネックアーキテクチャよりも優れているのか？

主な発見

• ORLデータセットでは、DSC-Net-L2が5.34%のクラスタリング誤差を達成し、最良のベースライン手法（AE+EDSC）の誤差率のおよそ1/3にまで低下した。
• COIL20では、提案手法が5.34%の誤差率を達成し、競合手法が報告した14.24%の誤差率を著しく下回った。
• COIL100では、DSC-Net-L2が比較されたすべての手法の中で最低の誤差率を記録し、複雑な物体画像データへの優れた一般化性能を示した。
• チャンネル数を増加させる次元拡張を施した浅いネットワークは、COILデータセットにおいて深層ボトルネックアーキテクチャを上回った。これは、パラメータの効率性が高く、過学習が抑制されたためである。
• 事前学習とファインチューニング戦略により、データが限られるORLのようなデータセットでも、効果的な学習が可能になった。
• 微分可能な自己表現層は、データ依存の類似度を効果的に学習し、カーネルベースおよび従来の自己表現手法と比較して優れたクラスタリング性能を実現した。