[論文レビュー] A Critique of Self-Expressive Deep Subspace Clustering

Benjamin D. Haeffele, Chong You+1 more|arXiv (Cornell University)|Oct 8, 2020

Face and Expression Recognition参考文献 44被引用数 10

ひとこと要約

この論文は、自己表現的深層部分空間クラスタリング（SEDC）手法を批判し、最適化が不適切であり、データポイントが原点付近や同一直線上に収束する退化した埋め込みを引き起こす可能性があることを示している。著者らは、先行研究で報告された性能向上の多くが、深層モデルそのものではなく、臨時的な後処理によるものであることを示しており、理論的分析と合成および実データセットを用いた実験によってこれを検証している。

ABSTRACT

Subspace clustering is an unsupervised clustering technique designed to cluster data that is supported on a union of linear subspaces, with each subspace defining a cluster with dimension lower than the ambient space. Many existing formulations for this problem are based on exploiting the self-expressive property of linear subspaces, where any point within a subspace can be represented as linear combination of other points within the subspace. To extend this approach to data supported on a union of non-linear manifolds, numerous studies have proposed learning an embedding of the original data using a neural network which is regularized by a self-expressive loss function on the data in the embedded space to encourage a union of linear subspaces prior on the data in the embedded space. Here we show that there are a number of potential flaws with this approach which have not been adequately addressed in prior work. In particular, we show the model formulation is often ill-posed in that it can lead to a degenerate embedding of the data, which need not correspond to a union of subspaces at all and is poorly suited for clustering. We validate our theoretical results experimentally and also repeat prior experiments reported in the literature, where we conclude that a significant portion of the previously claimed performance benefits can be attributed to an ad-hoc post processing step rather than the deep subspace clustering model.

研究の動機と目的

• ニューラルネットワークで学習された埋め込みに自己表現的損失で正則化する手法に依存する自己表現的深層部分空間クラスタリング（SEDC）手法における根本的な欠陥を特定すること。
• SEDCにおける最適化問題が不適切であり、埋め込み空間でデータポイントが原点に収束するか、同一直線上に並ぶような退化解を生じることを示すこと。
• 先行研究におけるSEDCの性能優位性に関する主張の妥当性を疑問視し、観察された向上が主に後処理によるものであり、深層モデルそのものによるものではないことを示すこと。
• 非線形多様体上に分布するデータに対してニューラルネットワークの埋め込みを用いた場合、自己表現的性質が部分空間構造を信頼性高く保持しないことを理論的・実験的に証明すること。
• SEDCや類似アーキテクチャの結果の解釈にあたっては、特に性能向上がモデルの貢献であるとされる場合に、後処理ステップとの混同を避けるよう注意を喚起すること。

提案手法

• SEDCの目的関数の理論的分析により、最適化が不適切であり、埋め込みが原点に収束するか、同一直線上に並ぶような臨界点が存在することが明らかになった。
• 符号化器に正規化層（例：インスタンス正規化、バッチ正規化、データセット正規化）が使用される場合、最適化が退化解に至る条件を導出している。
• 自己オートエンコーダーの潜在空間における係数行列Cと埋め込みデータZの挙動を分析することで、最適化ダイナミクスを検証した。
• MNIST、CIFAR-10、STL-10などの合成および実データセットを用いた実験を行い、3つのバリアント（生データ、オートエンコーダーのみ（エンコーダー/デコーダーを固定）、フルSEDS C（エンドツーエンド学習））を比較した。
• すべての手法に同一の後処理ステップを適用することで、モデルの影響と後処理アーチファクトの影響を分離した。
• 全目的関数の最適化に近接勾配降下法を用い、自己表現項F(Z,C)と正則化項θ(C)を別々に取り扱った。

実験結果

リサーチクエスチョン

• RQ1 自己表現的深層部分空間クラスタリングの目的関数は適切に定義されているか、それとも埋め込み空間で退化解が生じる可能性があるか？
• RQ2 符号化器にインスタンス正規化、バッチ正規化、データセット正規化などの正規化層が使用されると、SEDCにおける退化がどの程度悪化するか？
• RQ3 先行研究で報告されたSEDCの性能向上のうち、深層モデルによるものと臨時的後処理によるものの割合はどの程度か？
• RQ4 非線形多様体上に分布するデータに対して、ニューラルネットワークの埋め込みを用いた場合、自己表現的性質が部分空間構造を信頼性高く保持できるか？
• RQ5 SEDCにおける係数行列Cが意味のある内部部分空間関係を表さない条件は何か？

主な発見

• SEDCの最適化問題は不適切であり、埋め込みデータポイントが原点付近に収束するか、同一直線上に並ぶような退化解を許容する。
• バッチ/チャネル正規化またはデータセット正規化を用いる場合、完全な訓練後、埋め込み表現はほぼ退化しており、ほとんどのポイントが原点付近に集中し、係数行列Cにはたった2つの非ゼロ要素しか存在しない。
• インスタンス正規化を用いる場合、すべての埋め込みポイントがほぼ同一になり、同一直線上に並ぶことが確認され、理論的予測の退化が裏付けられた。
• 係数行列Cはわずか数個の非ゼロ要素に支配されており、他の要素は対数スケールでのみ顕在するため、弱いまたは誤った接続が生じていると示唆された。
• 生データ、オートエンコーダーのみ、フルSEDS Cを比較した結果、先行研究で報告された性能向上は主に後処理によるものであり、深層モデルそのものによるものではなかった。
• MNIST、CIFAR-10、STL-10における実験結果から、後処理を均一に適用した場合、フルSEDCモデルが単純なベースラインを上回らないことが確認された。