[論文レビュー] Self-Supervised Convolutional Subspace Clustering Network

Junjian Zhang, Chun-Guang Li+5 more|arXiv (Cornell University)|May 1, 2019

Video Surveillance and Tracking Methods参考文献 50被引用数 9

ひとこと要約

本稿では、畳み込みニューラルネットワークによる特徴抽出、部分空間クラスタリングのための自己表現、およびスペクトルクラスタリングによる二重自己教師学習を統合した、エンド・トゥ・エンドで学習可能な自己教師型フレームワーク、S2 ConvSCN を提案する。特徴抽出と自己表現の両方をクラスタリング出力によって精緻化することで、COIL100 において 26.67% のクラスタリング誤差を達成し、ベンチマークデータセットで最先端の性能を実現した。

ABSTRACT

Subspace clustering methods based on data self-expression have become very popular for learning from data that lie in a union of low-dimensional linear subspaces. However, the applicability of subspace clustering has been limited because practical visual data in raw form do not necessarily lie in such linear subspaces. On the other hand, while Convolutional Neural Network (ConvNet) has been demonstrated to be a powerful tool for extracting discriminative features from visual data, training such a ConvNet usually requires a large amount of labeled data, which are unavailable in subspace clustering applications. To achieve simultaneous feature learning and subspace clustering, we propose an end-to-end trainable framework, called Self-Supervised Convolutional Subspace Clustering Network (S$^2$ConvSCN), that combines a ConvNet module (for feature learning), a self-expression module (for subspace clustering) and a spectral clustering module (for self-supervision) into a joint optimization framework. Particularly, we introduce a dual self-supervision that exploits the output of spectral clustering to supervise the training of the feature learning module (via a classification loss) and the self-expression module (via a spectral clustering loss). Our experiments on four benchmark datasets show the effectiveness of the dual self-supervision and demonstrate superior performance of our proposed approach.

研究の動機と目的

• 従来の部分空間クラスタリング手法がデータが線形部分空間上に存在すると仮定している点に起因する制限を解消すること。これは、現実の視覚的データではしばしば成り立たたない。
• 部分空間クラスタリングのための深層特徴を学習する際に、大規模なラベル付きデータを必要としないようにすること。
• 同時に判別可能な特徴を学習し、部分空間クラスタリングを実行できる、エンド・トゥ・エンドで学習可能なフレームワークを開発すること。
• スペクトルクラスタリングの出力を用いて、特徴抽出と自己表現の両方を向上させる二重自己教師学習メカニズムを導入すること。
• 手動によるアノテーションや事前定義された不変性特徴を必要とせずに、優れたクラスタリング性能を達成すること。

提案手法

• 生の視覚的データからエンド・トゥ・エンドで特徴抽出を可能にするスタックド畳み込みオートエンコーダーを統合する。
• 各データポイントを他のデータポイントの線形結合として表現する自己表現モジュールを採用し、部分空間クラスタリングを可能にする。
• 疑似ラベルを生成することで、特徴抽出と自己表現の両方を監督するスペクトルクラスタリングモジュールを統合する。
• 二重の自己教師信号を適用する：予測ラベルとスペクトルクラスタリングの疑似ラベルの間の分類損失、および自己表現の類似度行列とクラスタ構造を一致させるためのスペクトルクラスタリング損失。
• 特徴表現、自己表現係数、クラスタ割り当てを同時に精緻化するための交互最適化戦略を採用する。
• 再構成損失、自己表現損失、スペクトルクラスタリング損失、分類損失を組み合わせたマルチコンポonent損失関数を用い、適応的トレードオフパラメータを導入する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが利用できない状況下でも、自己教師学習が部分空間クラスタリングの性能向上に寄与するか？
• RQ2 スペクトルクラスタリングの出力が、エンド・トゥ・エンドで深層特徴抽出器の学習を効果的にガイドできるか？
• RQ3 分類損失とスペクトルクラスタリング損失の両方を用いた二重自己教師学習は、単一の監督または自己表現のみのアプローチに比べて、より高いクラスタリング精度を達成できるか？
• RQ4 特徴抽出、自己表現、クラスタリングの統合最適化フレームワークは、標準ベンチマークで既存の最先端手法を上回る性能を発揮できるか？
• RQ5 本手法は、現実の視覚的データにおけるポーズ、表情、変形などの変動に対して、どれほど頑健か？

主な発見

• S2 ConvSCN-ℓ₁ と S2 ConvSCN-ℓ₂ は、それぞれ ORL で 10.50% および 11.25% のクラスタリング誤差を達成し、DSC-ℓ₁ (14.25%) や DASC (11.75%) より優れた性能を示した。
• COIL20 では、S2 ConvSCN-ℓ₁ が 2.14%、S2 ConvSCN-ℓ₂ が 2.33% のクラスタリング誤差を記録し、DSC-ℓ₁ (5.65%) や DASC (3.61%) より顕著に低い水準にまで低下した。
• COIL100 では、S2 ConvSCN-ℓ₁ が 26.67% のクラスタリング誤差を達成し、DSC-ℓ₁ (33.62%) や DSC-ℓ₂ (30.96%) より顕著な改善を示した。
• 二重自己教師学習メカニズムにより、最適化の過程でコスト関数とクラスタリング誤差曲線の平坦化が観察され、収束が速く安定した。
• 相対的スペクトルクラスタリングコスト比（‖C‖_Q / ‖C‖₁）はクラスタリング誤差と強く相関しており、性能指標としての有効性が裏付けられた。
• 本手法は、明示的なデータオーグメンテーションやアライメントを用いなくても、変化に頑健であることを示した。これは、特徴が暗黙的に不変性を捉えていることの裏返しである。