[論文レビュー] Unsupervised Transfer Learning with Self-Supervised Remedy

Jiabo Huang, Shaogang Gong|arXiv (Cornell University)|Jun 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 4

ひとこと要約

本稿では、教師ありソースドメインからの事前知識と、教師なしターゲットデータにおける自己教師付きペairワイズ類似度学習を統合することで、転移クラスタリングを向上させる自己教師付き補正手法SUPREMEを提案する。この手法は、4つのデータセットでクラスタリング性能を向上させ、テキスト的・属性ベースの監視に依存せずにゼロショット学習ベンチマークでも競争的な結果を達成する。

ABSTRACT

Generalising deep networks to novel domains without manual labels is challenging to deep learning. This problem is intrinsically difficult due to unpredictable changing nature of imagery data distributions in novel domains. Pre-learned knowledge does not transfer well without making strong assumptions about the learned and the novel domains. Different methods have been studied to address the underlying problem based on different assumptions, e.g. from domain adaptation to zero-shot and few-shot learning. In this work, we address this problem by transfer clustering that aims to learn a discriminative latent space of the unlabelled target data in a novel domain by knowledge transfer from labelled related domains. Specifically, we want to leverage relative (pairwise) imagery information, which is freely available and intrinsic to a target domain, to model the target domain image distribution characteristics as well as the prior-knowledge learned from related labelled domains to enable more discriminative clustering of unlabelled target data. Our method mitigates nontransferrable prior-knowledge by self-supervision, benefiting from both transfer and self-supervised learning. Extensive experiments on four datasets for image clustering tasks reveal the superiority of our model over the state-of-the-art transfer clustering techniques. We further demonstrate its competitive transferability on four zero-shot learning benchmarks.

研究の動機と目的

• ラベル付きソースドメインからラベルなしターゲットドメインへ知識を転送する課題に取り組む。特に、データ分布が未知かつシフトしている状況を想定する。
• 共有ラベル空間や意味的プロトタイプを仮定する強い仮定に依存する既存の非教師付き転移学習手法の限界を克服する。
• 単語ベクトルや属性アノテーションを必要としない、スケーラブルで汎用的な転移クラスタリングの解決策を開発する。
• ターゲットデータの内在的な画像関係から得られる自己教師付き制約と、転送された監視信号を統合することで、ラベルなしターゲットデータの判別的クラスタリングを向上させる。

提案手法

• 事前学習済みソースモデルから得られる転送監視信号と、ターゲットドメインにおける画像ペアの類似度に基づく自己教師付き学習を統合する自己教師付き補正（SUPREME）を導入する。
• 対照的学習の目的関数を用いて、ターゲットドメイン内の画像ペアを比較することで自己教師信号を生成し、内在的な分布特性をモデル化する。
• 温度パrameterを制御する信頼度分布を用いて、転送された事前知識と自己教師信号の信頼性をバランスさせる。
• 複数の正則化を組み込む：クラスタサイズ分布の安定化のためのバランス正則化、共有特徴の保持のためのバイナリ正則化、および自明な表現の防止のためのマルチタスク正則化。
• 統一された潜在空間内で、転送信号と自己教師信号の両方を最適化する統合目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 補助学習の原則を活用し、ドメインシフトの影響で転送不能または誤解を招く可能性のある事前知識を、自己教師信号が是正できるようにする。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習は、分布シフトを伴うラベルなしターゲットドメインにおけるクラスタリングを改善するために、転送監視信号と効果的に補完できるか？
• RQ2 意味的または属性ベースの監視を一切用いない状況で、提案手法SUPREMEは最先端の転移クラスタリングおよびゼロショット学習モデルと比較してどの程度の性能を示すか？
• RQ3 モデル性能における転送監視信号と自己教師信号の相対的寄与度は何か？また、両者の相互作用はどのように働くか？
• RQ4 温度パrameterが信頼度分布に与える影響は、ハイパーパramータ選択の感受性を示しており、ドメイン固有の分布シフトに敏感であるか？
• RQ5 単語ベクトル空間や属性学習に依存せずに、SUPREMEはどの程度ゼロショット学習ベンチマークに一般化可能か？

主な発見

• SUPREMEは、転送信号と自己教師信号を効果的に統合することで、4つの転移クラスタリングベンチマークで最先端の性能を達成する。
• テキスト的・属性ベースの意味的表現を一切使用しない状況でも、4つのゼロショット学習ベンチマークで競争的な性能を示す。
• アブレーションスタディの結果、転送監視信号と自己教師信号の両方が独立して性能向上に寄与しており、両者の組み合わせが最良の結果をもたらすことが確認された。
• 温度ハイパーパrameterは性能に顕著な影響を与えるが、データセットに依存するため、ドメイン固有の分布シフトに感受性があることが示された。
• バランス正則化、バイナリ正則化、マルチタスク正則化のいずれかを削除すると、顕著な性能低下が生じ、これらが必要不可欠であり、重複しないことが確認された。
• CIFAR10では、自己教師信号のみのモデルがSUPREMEをわずかに上回った。これは、特定のドメインでは事前知識が誤解を招くか、転送不能である可能性があることを示唆している。