[論文レビュー] Domain Discrepancy Measure Using Complex Models in Unsupervised Domain Adaptation.

Jongyeong Lee, Nontawat Charoenphakdee+2 more|arXiv (Cornell University)|Jan 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 7

ひとこと要約

本稿では、深層ニューラルネットワークを含む複雑なモデルにおける多クラス教師なしドメイン適応に効果的で、計算的に効率的なドメイン不一致測度として、ペアド仮説不一致（PHD）を提案する。理論的分析と実験により、二値分類に限定され、計算コストの高い従来の測度とは異なり、PHDは信頼性が高くスケーラブルな代替手段を提供することが示された。

ABSTRACT

Appropriately evaluating the discrepancy between domains is essential for the success of unsupervised domain adaptation. In this paper, we first point out that existing discrepancy measures are less informative when complex models such as deep neural networks are used, in addition to the facts that they can be computationally highly demanding and their range of applications is limited only to binary classification. We then propose a novel domain discrepancy measure, called the paired hypotheses discrepancy (PHD), to overcome these shortcomings. PHD is computationally efficient and applicable to multi-class classification. Through generalization error bound analysis, we theoretically show that PHD is effective even for complex models. Finally, we demonstrate the practical usefulness of PHD through experiments.

研究の動機と目的

• 従来のドメイン不一致測度が二値分類に限定されており、計算コストが高いために生じる制限を解消すること。
• 深層ニューラルネットワークのような複雑なモデルに適用した場合、従来の測度が情報量が低下する問題を克服すること。
• 理論的妥当性を保ちつつ、実用的導入に適した計算効率の高い不一致測度を開発すること。
• 原理的で一般化可能な測度を用いて、多クラス設定における効果的なドメイン適応を可能にすること。
• 教師なしドメイン適応における従来の不一致測度の理論的裏付けが強く、実験的にも有効な代替手段を提供すること。

提案手法

• 多クラス分類および複雑なモデルを想定した、新しいドメイン不一致測度であるペアド仮説不一致（PHD）を提案する。
• PHDは、ソースドメインとターゲットドメインの予測から導かれるペアド仮説を比較することでドメイン不一致を評価し、モデルの信頼性と予測の一貫性を活用する。
• 従来の方法と同様に、分布マッチングや敵対的訓練に類する高コストな処理を回避することで、計算コストを低減する。
• PHDは一般化誤差バウンド解析に基づいて構築されており、複雑なモデルに対しても理論的整合性を保証する。
• モデルアーキテクチャに依存しないように設計されており、さまざまなディープラーニング環境でもスケーラブルである。
• PHDは、トレーニング時における適応を支援するように、ソースドメインとターゲットドメイン間の乖離を定量化することで、効果的なドメイン整合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いた多クラス設定において、ドメイン不一致測度が効果的で情報量豊かに保たれるか。
• RQ2 PHDの計算コストは、教師なしドメイン適応における既存の不一致測度と比べてどの程度か。
• RQ3 従来の測度と比較して、PHDは複雑なモデルに対してよりタイトな一般化誤差バウンドを提供するか。
• RQ4 PHDは現実の多クラス分類タスクにおけるドメイン適応を効果的にガイドできるか。
• RQ5 PHDは、さまざまなデータ分布とモデルアーキテクチャにおいて、教師なしドメイン適応で頑健であるか。

主な発見

• PHDは、特に高次元かつ多クラス設定において、従来の不一致測度と比較して優れた計算効率を示した。
• 理論的分析により、PHDが深層ニューラルネットワークに適用されても有効な一般化誤差バウンドを提供することが確認された。
• PHDは多様なデータ分布においてドメイン不一致を効果的に捉え、教師なしドメイン適応におけるより良いドメイン整合を実現した。
• 実験結果から、PHDはベンチマークデータセット上でベースラインの不一致測度を上回る適応性能を示した。
• PHDは二値分類にとどまらず、多クラスシナリオへの有効な不一致測定の範囲を拡張した。
• さまざまなディープラーニングアーキテクチャにおいても高い性能を維持したため、汎用性と頑健性が確認された。