[論文レビュー] Learning from a Complementary-label Source Domain: Theory and Algorithms

Yiyang Zhang, Feng Liu+4 more|arXiv (Cornell University)|Aug 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 75被引用数 9

ひとこと要約

本稿では、真のラベルに代えて低コストな補完ラベル（例：その例が属さないクラス）を用いることで、無教師ドメイン適応（UDA）に向けた新しい一ステップの対抗的深層学習フレームワーク、CLARINETを提案する。CLARINETは、補完ラベル分類とドメイン不変表現学習を同時に最適化し、手書き数字認識および物体認識タスクで最先端の性能を達成しており、真のラベルを必要とするベースラインを著しく上回っている。

ABSTRACT

In unsupervised domain adaptation (UDA), a classifier for the target domain is trained with massive true-label data from the source domain and unlabeled data from the target domain. However, collecting fully-true-label data in the source domain is high-cost and sometimes impossible. Compared to the true labels, a complementary label specifies a class that a pattern does not belong to, hence collecting complementary labels would be less laborious than collecting true labels. Thus, in this paper, we propose a novel setting that the source domain is composed of complementary-label data, and a theoretical bound for it is first proved. We consider two cases of this setting, one is that the source domain only contains complementary-label data (completely complementary unsupervised domain adaptation, CC-UDA), and the other is that the source domain has plenty of complementary-label data and a small amount of true-label data (partly complementary unsupervised domain adaptation, PC-UDA). To this end, a complementary label adversarial network} (CLARINET) is proposed to solve CC-UDA and PC-UDA problems. CLARINET maintains two deep networks simultaneously, where one focuses on classifying complementary-label source data and the other takes care of source-to-target distributional adaptation. Experiments show that CLARINET significantly outperforms a series of competent baselines on handwritten-digits-recognition and objects-recognition tasks.

研究の動機と目的

• 無教師ドメイン適応（UDA）において、完全な真のラベルを収集するコストの高さに起因する課題を解決するため、補完ラベルを用いた新しい設定を提案すること。
• 完全に補完ラベルのみが利用可能な完全補完UDA（CC-UDA）と、補完ラベルに加えて少量の真のラベルが存在する部分的補完UDA（PC-UDA）という2つの新しいUDAシナリオを形式化し、分析すること。
• 補完ラベルを直接処理できる統一的で一ステップの深層学習フレームワーク、CLARINETを開発すること。このフレームワークは、事前のラベル補正や真のラベルに依存しない。
• 補完ラベルからの学習に関する一般化境界を理論的に正当化することで、本設定の妥当性を裏付けること。

提案手法

• CLARINETは、補完ラベル分類用とドメイン不変表現学習用の2つの深層ニューラルネットワークを採用する。ドメイン不変表現学習は、敵対的訓練によって実現される。
• 特徴量と分類予測の両方を活用する条件付き敵対的ディスクラミネーターを用いることで、マルチモーダルなデータ分布をよりよくモデル化し、ドメインの整合性を向上させる。
• ネットワーク出力のログティスにシャープニング関数を適用することで、予測の信頼性を高め、補完ラベル学習の効果を最大化する。
• 統合損失関数（補完ラベル用交差エントロピー損失とドメイン敵対的損失）を用いて、エンドツーエンドでモデルを学習する。この損失関数により、ソースドメインとターゲットドメインの特徴量が一致するように最適化される。
• C→T、U→M、M→U、S→M、Y→M、Y→S、M→m といった複数のドメイン適応タスクをサポートし、タスクに応じてアーキテクチャを適応的に変更する。
• ラベル補正とその後のUDAの2段階プロセスを回避することで、補完ラベル付きソースデータから、直接的かつ効率的な知識移転を実現する。

実験結果

リサーチクエスチョン

• RQ1 無教師ドメイン適応において、真のラベルの代わりに補完ラベル付きソースデータから効果的に学習できるか？
• RQ2 真のラベル付きソースデータの割合が減少した場合、ドメイン適応の性能はどの程度低下するか？また、補完ラベルはその低下を緩和できるか？
• RQ3 補完ラベルを直接処理する一ステップの敵対的フレームワーク（CLARINET）は、まずラベルを補正してから通常のUDAを適用する二段階アプローチを上回れるか？
• RQ4 条件付き敵対的訓練とシャープニング関数は、補完ラベルを用いた適応性能向上にどの程度寄与しているか？
• RQ5 提案された補完ラベル学習のための理論的一般化境界は、多様なドメイン適応タスクにおいて実際のデータでも成り立つか？

主な発見

• CLARINETは、手書き数字認識および物体認識ベンチマークを含む7つの補完ラベルベースのUDAタスクにおいて、すべての競合ベースラインを著しく上回る性能を達成した。
• 補完ラベルデータのみで学習したCLARINETのターゲットドメイン正解率は、補正済みラベルを用いた標準的なUDA手法の結果を上回っている。
• 実験から、ソースドメインにおける真のラベルデータの量が増えるほどCLARINETの性能が向上することが示され、PC-UDAにおける両ラベルタイプの組み合わせの利点が裏付けられた。
• アブレーションスタディの結果、条件付き敵対的訓練とシャープニング関数は必須の要素であることが確認され、それらを除去すると性能が著しく低下した。
• 補完ラベルに直接適用する標準的なUDA手法（C w/ L_CEベースライン）は、ランダム分類よりも性能が悪く、標準的なUDA手法が補完ラベルデータを直接処理できないことが示された。
• 提案された補完ラベル学習のための理論的一般化境界は、実験的に裏付けられ、新しい設定の実現可能性が確認された。