[論文レビュー] Jointly Deep Multi-View Learning for Clustering Analysis

Bingqian Lin, Yuan Xie+3 more|arXiv (Cornell University)|Aug 19, 2018

Remote-Sensing Image Classification参考文献 27被引用数 12

ひとこと要約

本稿では、深層特徴学習、マルチビュー融合、クラスタリング割り当てを統合的に最適化する新規な深層マルチビュークラスタリングフレームワーク（DMJC）を提案する。2つの変種—DMJC-S（ソフトアサインメントによる暗黙的融合）およびDMJC-T（補助ターゲット分布を用いた明示的融合）—を導入することで、6つの画像データセットにおいて最先端の性能を達成し、エンドツーエンドの統合学習により優れたクラスタリング精度を示した。

ABSTRACT

In this paper, we propose a novel Joint framework for Deep Multi-view Clustering (DMJC), where multiple deep embedded features, multi-view fusion mechanism and clustering assignments can be learned simultaneously. Our key idea is that the joint learning strategy can sufficiently exploit clustering-friendly multi-view features and useful multi-view complementary information to improve the clustering performance. How to realize the multi-view fusion in such a joint framework is the primary challenge. To do so, we design two ingenious variants of deep multi-view joint clustering models under the proposed framework, where multi-view fusion is implemented by two different schemes. The first model, called DMJC-S, performs multi-view fusion in an implicit way via a novel multi-view soft assignment distribution. The second model, termed DMJC-T, defines a novel multi-view auxiliary target distribution to conduct the multi-view fusion explicitly. Both DMJC-S and DMJC-T are optimized under a KL divergence like clustering objective. Experiments on six challenging image datasets demonstrate the superiority of both DMJC-S and DMJC-T over single/multi-view baselines and the state-of-the-art multiview clustering methods, which proves the effectiveness of the proposed DMJC framework. To our best knowledge, this is the first work to model the multi-view clustering in a deep joint framework, which will provide a meaningful thinking in unsupervised multi-view learning.

研究の動機と目的

• マルチビュークラスタリングにおける分離学習の限界を解消する。具体的には、特徴学習とクラスタリングを逐次的に行うのではなく、同時に最適化することを目的とする。
• 異種の複数のビュー間で補完的情報を活用する。特徴学習、融合、クラスタリングを統合的に最適化することで実現する。
• マルチビュークラスタリングに適した統一的な深層学習フレームワークを構築し、エンドツーエンドの学習を可能にする。
• 単一の統合最適化目的関数内に、暗黙的および明示的マルチビュー融合戦略を検討する。

提案手法

• 深層埋め込み特徴、マルチビュー融合メカニズム、クラスタリング割り当てを同時に学習する統合的深層マルチビュークラスタリング（DMJC）フレームワークを提案する。
• DMJC-Sは、複数のビューにまたがる予測を統合する新しいマルチビュー・ソフトアサインメント分布 $\mathbf{q}$ を用いて、暗黙的マルチビュー融合を実現する。
• DMJC-Tは、共有ターゲット分布を介してクラスタリングをガイドするマルチビュー補助ターゲット分布 $\mathbf{p}$ を用いて、明示的マルチビュー融合を実現する。
• 予測分布とターゲット分布の間のKLダイバージェンスに基づくクラスタリング目的関数を最適化することで、両モデルを最適化する。
• マルチビュー分岐としてオートエンコーダーに基づくエンコーダーを採用し、特徴抽出にはエンコーダー部のみを用いる。
• 特徴学習、融合、クラスタリング部品を含むパイプライン全体に勾配をバックプロパゲートすることで、エンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴学習、マルチビュー融合、クラスタリングの統合最適化は、逐次的または分離的アプローチと比較して、クラスタリング性能を向上させることができるか？
• RQ2 異種の複数のビューから得られる補完的情報を、深層クラスタリングフレームワーク内で効果的に活用できるか？
• RQ3 統合学習設定下で、暗黙的融合と明示的融合戦略の相対的な利点は何か？
• RQ4 提案された統合フレームワークは、初期化やビュー構成の変動に対しても安定性と頑健性を維持できるか？

主な発見

• DMJC-SおよびDMJC-Tは、6つのベンチマーク画像データセットにおいて最先端の性能を達成し、単一ビューおよびマルチビューのベースラインを上回った。
• STL-10およびCIFAR-10では、DMJC-Tが96.03%の精度を達成し、最高の単一ビューベースライン（J-View-3で90.71%）を顕著に上回った。
• DMJC-SおよびDMJC-Tの二視点バージョン（Conv-VAE + SAE）は、それぞれ93.84%および93.88%の精度を達成し、CAEブランチがなくても強力な性能を示した。
• 三視点モデルに劣化視点（VAE、70.59%の精度）を追加しても、性能はわずかに低下するにとどまり（DMJC-Sでは88.63%、DMJC-Tでは88.28%）、ノイズの多い視点に対しても頑健であることが示された。
• 50回のランダム初期化における性能の分散が非常に小さく（例：DMJC-TのSTL-10では1.20e-6）、強い安定性と信頼性を示した。
• 可視化結果から、情報量の多い視点が学習プロセスを支配しており、最適化過程でその重みが顕著に増加することが確認され、効果的な視点重み付けが実現していることが裏付けられた。