[論文レビュー] Beyond Domain Adaptation: Unseen Domain Encapsulation via Universal Non-volume Preserving Models

Thanh-Dat Truong, Chi Nhan Duong+3 more|arXiv (Cornell University)|Dec 9, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 5

ひとこと要約

本論文は、トレーニング中にターゲットドメインデータを必要とせずに、未学習ドメインに一般化できるようにするため、ユニバーサル非体積保存（UNVP）モデルを提案する。未学習ドメインからのハードで架空の例を繰り返しトレーニングデータに追加することで、UNVPは数字認識、顔認識、歩行者認識タスクにおいて多様な分布において性能を向上させ、ADDa や ADA よりも未学習ドメイン（例：赤外線画像）で最先端の手法を上回る。

ABSTRACT

Recognition across domains has recently become an active topic in the research community. However, it has been largely overlooked in the problem of recognition in new unseen domains. Under this condition, the delivered deep network models are unable to be updated, adapted or fine-tuned. Therefore, recent deep learning techniques, such as: domain adaptation, feature transferring, and fine-tuning, cannot be applied. This paper presents a novel Universal Non-volume Preserving approach to the problem of domain generalization in the context of deep learning. The proposed method can be easily incorporated with any other ConvNet framework within an end-to-end deep network design to improve the performance. On digit recognition, we benchmark on four popular digit recognition databases, i.e. MNIST, USPS, SVHN and MNIST-M. The proposed method is also experimented on face recognition on Extended Yale-B, CMU-PIE and CMU-MPIE databases and compared against other the state-of-the-art methods. In the problem of pedestrian detection, we empirically observe that the proposed method learns models that improve performance across a priori unknown data distributions.

研究の動機と目的

• トレーニング中にラベル付きターゲットドメインデータを必要とするドメイン適応手法の制限を解消すること。
• 事前に未知の未学習ドメイン（例：赤外線画像）に一般化できる深層学習モデルを実現すること。
• 任意の CNN アーキテクチャと互換性があり、エンドツーエンドで学習可能なユニバーサルなフレームワークを構築すること。
• ドメイン固有のファインチューニングや適応を不要にし、反復的データ拡張によってドメインシフトをモデル化すること。

提案手法

• ドメインシフトを非体積保存的かつ特徴空間を歪める方法で学習するユニバーサル非体積保存（UNVP）レイヤーを提案する。
• 現在のモデル予測に基づいて、未学習ドメインからのハードで架空の例を生成する反復的データ拡張手順を導入する。
• 分類精度とドメインシフトへのロバストネスの両方を最適化するため、対数尤度損失と ℓ2 損失の組み合わせを用いてエンドツーエンドでモデルを学習する。
• トレーニング中に困難で未学習のドメインのサンプルをシミュレートする生成メカニズムを採用し、一般化性能を向上させる。
• エンドツーエンドで動作するため、任意の CNN フレームワークとシームレスに統合可能で、即座に適用可能な改善が可能である。
• ユニバーサルバックグラウンドモデル（UBM）の知見を活用するが、GMM の代わりに深層ニューラルネットワークベースのアプローチを採用してドメイン表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にターゲットドメインデータにアクセスできない状況でも、深層学習モデルが未学習ドメインに一般化できるか。
• RQ2 照明の変化、モダリティの変化（例：RGB から赤外線）や画像分布の変化といった未知のドメインシフトに対して、モデルをどのようにロバストに学習できるか。
• RQ3 未学習ドメインからのハードで架空の例を用いた反復的データ拡張は、従来のドメイン適応手法を上回る一般化性能を実現できるか。
• RQ4 複数の未学習ドメインにおいて、ユニバーサルで非体積保存的変換が認識タスクのパフォーマンスにどの程度向上効果をもたらすか。
• RQ5 提案手法は既存の CNN アーキテクチャと互換性があり、エンドツーエンドで学習可能か。

主な発見

• 拡張された Yale-B データセットでは、暗い照明条件下で本手法が 70.09% の顔認識精度を達成し、Pure-CNN（49.15%）と ADA（53.08%）を上回った。
• CMU-PIE では、暗い照明条件下で 67.87% の精度を達成し、Pure-CNN（62.87%）と ADA（62.69%）を上回った。
• CMU-MPIE では、暗い条件下で 98.25% の精度を達成し、Pure-CNN（95.18%）と ADA（96.08%）を著しく上回った。
• 赤外線画像における歩行者検出では、mAP をベースラインの 53.64% から 300 個の提案で 53.83% に向上させ、未学習モダリティでの有効性を示した。
• 数字認識タスクでは、MNIST で 99.17%、USPS で 78.85%、SVHN で 40.22%、MNIST-M で 60.51% の精度を達成し、多様な数字データセットにおける強力な一般化性能を示した。
• ADDa や ADA ですらトレーニング時にターゲットドメインデータを必要としているにもかかわらず、未学習ドメインで本手法が優れた性能を示し、ゼロショットドメイン一般化における優位性を裏付けた。