[論文レビュー] A probabilistic constrained clustering for transfer learning and image category discovery

Yen-Chang Hsu, Zhaoyang Lv+3 more|arXiv (Cornell University)|Jun 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 3

ひとこと要約

本稿では、ペアワイズ類似度および非類似度制約下でのクラスタ割り当ての負対数尤度を直接最小化することで、深層特徴表現とクラスタ割り当てのエンドツーエンド同時最適化を可能にする、新しい確率的制約付きクラスタリング（CCL）目的関数を提案する。CCLは、従来の手法に比べて優れたスケーラビリティと性能を達成しており、特に深層ネットワークや多数のクラスタに対して優れている。トランスファー学習および画像カテゴリ発見の分野で、ハイパーパrameterなしで最先端の結果を示し、ノイズの多い制約に対しても高いロバストネスを示す。

ABSTRACT

Neural network-based clustering has recently gained popularity, and in particular a constrained clustering formulation has been proposed to perform transfer learning and image category discovery using deep learning. The core idea is to formulate a clustering objective with pairwise constraints that can be used to train a deep clustering network; therefore the cluster assignments and their underlying feature representations are jointly optimized end-to-end. In this work, we provide a novel clustering formulation to address scalability issues of previous work in terms of optimizing deeper networks and larger amounts of categories. The proposed objective directly minimizes the negative log-likelihood of cluster assignment with respect to the pairwise constraints, has no hyper-parameters, and demonstrates improved scalability and performance on both supervised learning and unsupervised transfer learning.

研究の動機と目的

• 深層畳み込みニューラルネットワークや多数のクラスタに適用する際、従来の制約付きクラスタリング手法に見られるスケーラビリティの制限を解消すること。
• ペアワイズ制約を用いて、特徴表現とクラスタ割り当てをエンドツーエンドで同時に最適化するクラスタリング目的関数の開発。
• 対照的損失の代わりに尤度に基づく定式化を用いることで、非教師教師的画像カテゴリ発見およびトランスファー学習における性能を向上させること。
• KLダイバージェンスに基づく損失の代わりに、原理的かつ確率論的な尤度目的関数を用いることで、ハイパーパrameter依存性を排除すること。
• ノイズの多い自動生成制約を含む現実世界の設定におけるロバストネスの評価。

提案手法

• ソフトマックスを用いてk個のクラスタ上でのカテゴリカル分布を出力するニューラルネットワークを用いて、クラスタ割り当て確率を定式化する。
• 2つのサンプルが同じクラスタに割り当てられる確率を、それらの予測クラスタ分布のドット積として定義する：P(y_i = y_j) = f_θ(x_i)^T f_θ(x_j)。
• ペアワイズ制約を、同じとみなすべきペア（must-link）または異なるとみなすべきペア（cannot-link）としてモデル化し、同じペアに対してはP(y_i = y_j)、異なるペアに対してはP(y_i ≠ y_j) = 1 - P(y_i = y_j)を定義する。
• すべての類似ペアおよび非類似ペアにおける確率の積として尤度目的関数L(θ|S⁺,S⁻)を構築し、トレーニング中に負対数尤度を最小化することで最適化する。
• 確率的勾配降下法を用いてネットワークパラメータθを最適化し、最終的なクラスタ割り当てはトレーニング済みネットワークをフォワードパスすることで得る。
• 特徴学習とクラスタリングを、ペアワイズ制約のみを監視信号として用いるエンドツーエンドの最適化フレームワークで統合する。

実験結果

リサーチクエスチョン

• RQ1 尤度に基づくクラスタリング目的関数は、深層ネットワークにおけるスケーラビリティの面で、KLダイバージェンスに基づく手法を上回ることができるか？
• RQ2 クラスタ数が10を超える場合、特に非教師的カテゴリ発見において、提案手法はどのように性能を発揮するか？
• RQ3 ハイパーパrameterが存在しないことで、ノイズの多い現実世界の制約設定において、ロバストネスと性能が向上するか？
• RQ4 自動生成された制約を用いて、画像カテゴリ発見におけるトランスファー学習で最先端の性能を達成できるか？
• RQ5 ImageNetのような大規模データセット（100種類以上のカテゴリ）に対して、本手法はどのようにスケーリングするか？

主な発見

• VGG8を用いたCIFAR-100では、CCLが64.0%のクラスタリング精度を達成し、同じ設定下でKCLの44.3%を著しく上回った。
• ImageNetのResNet-18特徴量を用いた30個のホールドアウトカテゴリでは、CCLが74.4%のクラスタリング精度を達成し、CCN-KCLの73.8%を上回った。
• クラスタ数が未知の設定（k=100）では、CCLが71.5%の精度を達成し、ImageNetでKCLの65.2%に対して顕著な改善を示した。
• Omniglotでは、真のクラスタ数が与えられた場合に83.3%、k=100の場合に80.2%の精度を達成し、CCN-KCL（それぞれ82.4%および78.1%）を上回った。
• 非常に深層なネットワークPReActResNet-101に対しても、CCLは高い性能を維持し、CIFAR-10ではKCLの21.9%に対し93.3%の精度を達成した。
• 正規化相互情報量（NMI）においても一貫した優位性を示し、OmniglotではCCLが0.897 NMI（KCLは0.889）を達成し、より優れたクラスタ品質を示した。