[論文レビュー] Continuous Transfer Learning with Label-informed Distribution Alignment

Jun Wu, Jingrui He|arXiv (Cornell University)|Jun 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 6

ひとこと要約

本稿では、ラベルを考慮したC-ダイバージェンスを用いてドメインシフトを測定し、時間的に変化するターゲットドメインにおける負のトランスファーを軽減する連続的トランスファー学習フレームワーク、TransLATEを提案する。潜在空間において分類誤差とC-ダイバージェンスを最小化することで、変化するデータにおける予測性能を向上させ、実験的結果により、ベースラインと比較して負のトランスファーが低減され、一般化性能が向上していることが示された。

ABSTRACT

Transfer learning has been successfully applied across many high-impact applications. However, most existing work focuses on the static transfer learning setting, and very little is devoted to modeling the time evolving target domain, such as the online reviews for movies. To bridge this gap, in this paper, we study a novel continuous transfer learning setting with a time evolving target domain. One major challenge associated with continuous transfer learning is the potential occurrence of negative transfer as the target domain evolves over time. To address this challenge, we propose a novel label-informed C-divergence between the source and target domains in order to measure the shift of data distributions as well as to identify potential negative transfer. We then derive the error bound for the target domain using the empirical estimate of our proposed C-divergence. Furthermore, we propose a generic adversarial Variational Auto-encoder framework named TransLATE by minimizing the classification error and C-divergence of the target domain between consecutive time stamps in a latent feature space. In addition, we define a transfer signature for characterizing the negative transfer based on C-divergence, which indicates that larger C-divergence implies a higher probability of negative transfer in real scenarios. Extensive experiments on synthetic and real data sets demonstrate the effectiveness of our TransLATE framework.

研究の動機と目的

• 時間的に変化するターゲットドメインにおける連続的トランスファー学習における負のトランスファーの課題に対処すること。
• ラベルを考慮した新しいドメイン不一致測度を用いて、ターゲットドメインの誤差に理論的バウンディングを確立するフレームワークの構築。
• 連続する時間ステップ間でラベルを考慮した分布を整合させる、汎用的な敵対的VAEベースのフレームワーク（TransLATE）の提案。
• C-ダイバージェンスに基づくトランスファー・シグネイチャを定義し、実用的な文脈で負のトランスファーを特徴づけ・検出可能にする。
• 限られたラベル利用可能性下での負のトランスファーの軽減において、TransLATEの有効性を実験的に検証すること。

提案手法

• ラベル情報を分布整合に組み込むことで、ソースドメインと時間的に変化するターゲットドメイン間のドメインシフトを測定する、ラベルを考慮したC-ダイバージェンス測度を提案。
• C-ダイバージェンスの経験的推定値を用いて、連続的トランスファー学習の誤差バウンディングを導出。ドメイン不一致とターゲット誤差の関連を確立。
• 潜在空間において連続するターゲット時間ステップ間の分類誤差とC-ダイバージェンスを最小化する、変分オートエンコーダー（VAE）フレームワークであるTransLATEを構築。
• ラベル情報が不足する状況において、未ラベルターゲットデータに疑似ラベルを付与することで、真のラベルがなくてもC-ダイバージェンスの推定を可能にする。
• C-ダイバージェンスに基づくトランスファー・シグネイチャを導入し、負のトランスファーの高リスク状況を検出可能にする。
• t-SNE可視化を用いて、潜在空間における分類の分離性とラベルを考慮した分布整合性の向上を実証。

実験結果

リサーチクエスチョン

• RQ1 時間的に変化するターゲットドメインにおけるドメインシフトを、負のトランスファーを防ぐためにラベル情報を反映させた方法でどのように測定できるか？
• RQ2 ラベルを考慮した不一致測度を用いた連続的トランスファー学習において、ターゲットドメイン誤差にどのような理論的バウンディングを確立できるか？
• RQ3 汎用的な敵対的VAEフレームワークは、変化するドメインにおける連続する時間ステップ間でラベルを考慮した分布を効果的に整合させることができるか？
• RQ4 ターゲットドメインにおけるラベルの限られた利用可能性が負のトランスファーのリスクに与える影響は何か？また、C-ダイバージェンスを用いることでこれを軽減できるか？
• RQ5 提案されたC-ダイバージェンスは、実世界および合成設定において、非教師ありドメイン不一致と比較して、どの程度トランスファー性能を向上させるか？

主な発見

• TransLATEは、DANN や WDGRL などのベースライン手法と比較して、特にラベル利用が限られた状況下でも、変化するターゲットドメインにおけるトランスファー精度を顕著に上回っている。
• 限られたターゲットラベルの使用により負のトランスファーが軽減され、半教師あり設定における性能向上が、非教師あり設定と比較して明確に示された。
• C-ダイバージェンスに基づく整合により、潜在空間における特徴の分離性と分布マッチングが向上しており、t-SNE可視化によって裏付けられた。
• C-ダイバージェンスに基づくトランスファー・シグネイチャは、負のトランスファーの高リスク状況を効果的に特定でき、C-ダイバージェンスが高くなるほど性能劣化の可能性が高くなることが示された。
• SVHNからMNISTへの回転ベンチマークでは、TransLATE_dは、SourceOnlyや他のトランスファー学習ベースラインと比較して優れた性能を示しており、ターゲット分布が変化する状況下でも有効である。
• 実験的結果から、分類誤差とC-ダイバージェンスの両方を最小化することでターゲット誤差が低減され、理論的誤差バウンディングの妥当性が裏付けられた。