[論文レビュー] Learning to cluster in order to transfer across domains and tasks

Yen-Chang Hsu, Zhaoyang Lv+1 more|arXiv (Cornell University)|Nov 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 92

ひとこと要約

本論文は、ターゲットラベルを必要とせず、クロス-タスクおよびクロスドメイン転移を可能にする転写可能なペアワイズ類似性関数とクラスタリングネットワークを学習し、最先端のクラスタリングとドメイン適応の結果を達成する。

ABSTRACT

This paper introduces a novel method to perform transfer learning across domains and tasks, formulating it as a problem of learning to cluster. The key insight is that, in addition to features, we can transfer similarity information and this is sufficient to learn a similarity function and clustering network to perform both domain adaptation and cross-task transfer learning. We begin by reducing categorical information to pairwise constraints, which only considers whether two instances belong to the same class or not. This similarity is category-agnostic and can be learned from data in the source domain using a similarity network. We then present two novel approaches for performing transfer learning using this similarity function. First, for unsupervised domain adaptation, we design a new loss function to regularize classification with a constrained clustering loss, hence learning a clustering network with the transferred similarity metric generating the training inputs. Second, for cross-task learning (i.e., unsupervised clustering with unseen categories), we propose a framework to reconstruct and estimate the number of semantic clusters, again using the clustering network. Since the similarity network is noisy, the key is to use a robust clustering algorithm, and we show that our formulation is more robust than the alternative constrained and unconstrained clustering approaches. Using this method, we first show state of the art results for the challenging cross-task problem, applied on Omniglot and ImageNet. Our results show that we can reconstruct semantic clusters with high accuracy. We then evaluate the performance of cross-domain transfer using images from the Office-31 and SVHN-MNIST tasks and present top accuracy on both datasets. Our approach doesn't explicitly deal with domain discrepancy. If we combine with a domain adaptation loss, it shows further improvement.

研究の動機と目的

• 特徴だけでなく、ペアワイズの意味的類似性を転送することで転移学習を動機づける。
• 予測された類似性を転送可能な制約として用いる学習可能なクラスタリング目的を提案する。
• クロス-タスクおよびクロス-ドメイン転移を可能にする、類似性予測ネットワークと制約付きクラスタリングネットワークを開発する。
• クロス-タスク転移によるOmniglotとImageNetで最先端のクラスタリングを実証する。
• 提案フレームワークを用いたOffice-31とSVHN–MNISTでの強力なドメイン適応効果を示す。

提案手法

• LCO（学習してクラスタリングすることに基づく転移学習フレームワークを導入し、ペアワイズ類似性情報を転送する。
• 補助的ラベル付きデータセットAから類似性予測関数Gを学習し、ペアが同じカテゴリに属するかを予測する。
• KL-divergenceを介してペアワイズの類似/非類似との結合に基づく制約クラスタリング目的（LCO）を構成する。
• ミニバッチ内のペアの組み合わせを列挙して密なペアワイズクラスタリング損失を作る（CCN）。
• CCNをクロスドメイン転移へ拡張し、ソース様データ上の supervise された分類損失とLCOを組み合わせ、ドメイン適応信号を統合するとCCN+およびCCN++となる。
• 任意で既存のドメイン不一致損失（例えばDANN）と組み合わせてパフォーマンスをさらに向上させる。
• ResNetバックボーンを用いてImageNet規模のタスクへスケーラブルであることを実証し、標準的なクラスタリングベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 生データ特徴量やラベルの代わりに転写可能なペアワイズ類似性は、無 supervise 設定でのクロス-タスクおよびクロス-ドメイン転移をサポートできるか？
• RQ2 クラスタリング目的に直接使用される場合、予測された類似性制約はどれくらい頑健か？
• RQ3 learned similarity functionと共に特徴表現とクラスタリングを共同最適化すると、伝統的な制約付きクラスタリングや純粋な特徴ベースの転移より優れた結果が得られるか？
• RQ4 LCOとドメイン適応損失を標準ベンチマーク（Office-31, SVHN–MNIST）および大規模データセット（ImageNet）で組み合わせた場合の性能向上は？

主な発見

• Omniglotにおけるクロス-タスク転移では、CCNはACC/NMIのトップ結果を達成し、Kが既知の場合は82.4% ACCおよび0.889 NMI、Kが未知の場合は78.1% ACCおよび0.874 NMI（K=100）を達成。
• ImageNetで評価した場合、CCNはK-means、LSC、LPNMFを上回り、Kが既知で73.8% ACC、未知で65.2% ACCを達成。
• Office-31での無監督クロス-ドメイン転送では、CCN+が平均正解率77.5%となりDANN（75.7%）とJAN（76.9%）を上回り、CCN++でさらに78.5%へ向上。
• SVHN→MNIST（Omniglotを補助データとして使用）でCCN+が新たなトップ成績89.1%を達成。
• アブレーション結果は、学習した類似性を用いたクラスタリング損失と共に最適化したCCNが、ノイズの多い類似性予測に対して頑健で、類似性をのみメトリック学習に用いる方法よりも優れていることを示す。
• 密なペアワイズ類似性情報を用いると、類似性予測が不完全でもクラスタリングの頑健性と転送性能を向上させる（類似ペアの精度約0.39、再現率約0.93）。