[論文レビュー] Homogeneous Online Transfer Learning with Online Distribution Discrepancy Minimization

Yuntao Du, Zhiwen Tan+3 more|arXiv (Cornell University)|Dec 31, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 8

ひとこと要約

本稿では、線形特徴変換を用いてマージナル分布と条件付き分布の差を同時に低減することで、オンライン分布差を最小化する、新しいオンライン転移学習手法HomOTL-ODDMを提案する。複数のソースドメインをHedge戦略で活用し、ラベル付きターゲットデータを用いて変換行列を動的に更新することで、固定変換ベースラインと比較して平均誤り率を4.28%低減し、最先端の性能を達成する。

ABSTRACT

Transfer learning has been demonstrated to be successful and essential in diverse applications, which transfers knowledge from related but different source domains to the target domain. Online transfer learning(OTL) is a more challenging problem where the target data arrive in an online manner. Most OTL methods combine source classifier and target classifier directly by assigning a weight to each classifier, and adjust the weights constantly. However, these methods pay little attention to reducing the distribution discrepancy between domains. In this paper, we propose a novel online transfer learning method which seeks to find a new feature representation, so that the marginal distribution and conditional distribution discrepancy can be online reduced simultaneously. We focus on online transfer learning with multiple source domains and use the Hedge strategy to leverage knowledge from source domains. We analyze the theoretical properties of the proposed algorithm and provide an upper mistake bound. Comprehensive experiments on two real-world datasets show that our method outperforms state-of-the-art methods by a large margin.

研究の動機と目的

• オンライン転移学習におけるソースドメインとターゲットドメイン間の大きな分布差の課題に対処すること。
• オンライン環境下でマージナル分布と条件付き分布の両方の差を同時に低減する手法を開発すること。
• 動的重み付けと特徴空間の適応を活用して、複数のソースドメインからの知識を統合し、転移性能を向上させること。
• 提案手法の一般化性能を分析するための誤りバウンドの理論的保証を提供すること。
• 実世界のデータセットにおけるオンライン変換行列の更新効果とパrameter感受性を経験的に検証すること。

提案手法

• 線形特徴変換を用いて、ソースおよびターゲットデータを、ドメイン差が最小化される新たな空間に射影する。
• 変換空間における最大平均差分（MMD）を用いて、マージナル分布と条件付き分布の差を同時に最小化する。
• 各ソースドメインの分類器の性能に基づき、Hedge戦略を用いて動的に重みを割り当てる。
• ラベル付きターゲットインスタンスを用いて変換行列をオンラインで更新し、時間経過に伴い分布差を適応的に低減する。
• 行列更新の頻度を制御するため、時間ウィンドウ $ T_w $ を維持する。これにより、効率性と適応性のバランスを取る。
• 提案手法の一般化性能を分析するため、理論的誤りバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 オンライン分布差最小化は、複数ソースのオンライン転移学習における転移性能を向上させ得るか？
• RQ2 特徴変換行列を動的に更新することは、ドメイン差と分類精度にどのように影響するか？
• RQ3 マージナル分布と条件付き分布の両方の差を低減することは、既存手法と比較してより良い一般化性能をもたらすか？
• RQ4 ハイパーパrameter（$ C $ および $ T_w $）の変更に対して、手法の性能はどれほど感受性を示すか？
• RQ5 提案手法は、実世界のクロスドメイン分類タスクにおいて、最先端のベースラインを上回る性能を達成できるか？

主な発見

• HomOTL-ODDMは、固定変換バージョンと比較して平均誤り率を4.28%低減し、最先端の手法を顕著に上回る。
• PIE1やAmazonを含むすべての評価対象データセットで最高の性能を達成し、時間経過に伴い一貫して低いオンライン誤り率を維持する。
• オンラインでラベル付きデータを用いて変換行列を更新することで、より効果的で頑健な特徴表現が得られ、ドメイン差がより効果的に低減される。
• ドメイン差が大きい状況下でも、HomOTL-ODDMは転移性能の向上が顕著に現れ、分布シフトが著しい状況でも有効であることが示された。
• ハイパーパrameterに対して頑健であり、$ C > 2 $ および $ T_w \in [30, 200] $ の範囲で最適な性能が得られる。これにより、実用的な安定性が確認された。
• 集約MMDを用いた分布差の測定値は、処理されるターゲットデータが増えるに従い時間経過とともに減少する。これにより、オンライン差分最小化の有効性が裏付けられた。