[論文レビュー] Joint Unsupervised Learning of Deep Representations and Image Clusters

Jianwei Yang, Devi Parikh+1 more|arXiv (Cornell University)|Apr 13, 2016

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 145

ひとこと要約

前向きパスでクラスタリングを行い、後向きパスで表現学習を交互に行うことで、深層CNN表現と画像クラスタを無監督に同時に学習する再帰フレームワーク。重み付きトリプレット損失で最適化。

ABSTRACT

In this paper, we propose a recurrent framework for Joint Unsupervised LEarning (JULE) of deep representations and image clusters. In our framework, successive operations in a clustering algorithm are expressed as steps in a recurrent process, stacked on top of representations output by a Convolutional Neural Network (CNN). During training, image clusters and representations are updated jointly: image clustering is conducted in the forward pass, while representation learning in the backward pass. Our key idea behind this framework is that good representations are beneficial to image clustering and clustering results provide supervisory signals to representation learning. By integrating two processes into a single model with a unified weighted triplet loss and optimizing it end-to-end, we can obtain not only more powerful representations, but also more precise image clusters. Extensive experiments show that our method outperforms the state-of-the-art on image clustering across a variety of image datasets. Moreover, the learned representations generalize well when transferred to other tasks.

研究の動機と目的

• ラベルなしの表現学習を共同クラスタリングを通じて動機づける。
• 連結的クラスタリング（アグロメラティブクラスタリング）と深層表現学習を統合する再帰フレームワークを開発する。
• エンドツーエンド方式でクラスタリングと表現学習の両方を導く単一の損失を導出する。
• データセット間での優れたクラスタリング性能と転移可能な表現を実証する。

提案手法

• クラスタリングのための深い特徴を得るためにCNNを用いて画像を表現する。
• アグロメラティブクラスタリングを前向きパスの再帰過程として、時間ステップごとにクラスタを統合する形で定式化する。
• 有向の親和グラフを定義し、グラフ次数連結法を用いてクラスタ親和性を測定する。
• クラスタ親和性と局所構造を組み合わせて学習を導く重み付きトリプレット損失を導入する。
• 部分的に展開された期間で学習を行い、前向きパス（クラスタリング）と後向きパス（表現学習）を交互に行う。
• 期間ごとの目的を合計した総損失を最適化し、エンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層表現と画像クラスタの共同無監督学習は、固定表現クラスタリング法を上回ることができるか？
• RQ2 学習した表現はデータセット間およびクラスタリングアルゴリズム間で転移し、クラスタリング品質を保つまたは向上するか？
• RQ3 クラスタ損失に局所クラスタ構造を組み込むことは、最適化と結果にどのように影響するか？
• RQ4 ラベルなしで学習した表現が、顔認証や画像分類などの下流タスクの性能を向上させるか？
• RQ5 アグロメラティブクラスタリングは再帰的深層学習フレームワークへの統合に適しているか？

主な発見

• この結合アプローチは、NMIを指標として複数のデータセットで最先端のクラスタリング手法を上回る。
• 学習した表現はクラスタリングアルゴリズムを横断して転移し、さまざまなデータセットでの性能を向上させる。
• COIL20およびCMU-PIEでは、報告された結果でNMIが完璧（1.0）を達成。
• 学習した表現は、LFWでの顔認証に対して無監督学習設定下で競争力のある、または優れた結果を可能にする。
• 転移実験は、あるデータセットの表現を他のデータセットで使用した場合のクロスデータセットクラスタリングの改善を示す。
• このフレームワークは、無監督学習で画像分類パイプラインをサポートする転移可能な表現を生み出す。