[論文レビュー] Domain Adaptation by Mixture of Alignments of Second- or Higher-Order Scatter Tensors

Piotr Koniusz, Yusuf Tas+1 more|arXiv (Cornell University)|Nov 24, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 6

ひとこと要約

本稿では、少数のラベル付きターゲットデータが存在するFew-shot学習の文脈におけるドメインシフトを緩和することを目的として、Second- or Higher-order Transfer of Knowledge (So-HoT) を提案する。これは、畳み込みニューラルネットワーク（CNN）フレームワーク内で、クラス内分散の整合性とクラス間分離性を同時に最適化することで、ソースドメインとターゲットドメインの特徴量から得られる2次以上（2次以上）の分散テンソルを学習可能な損失関数を用いて一致させる、新しいドメイン適応手法である。Office、RGB-D、および画像からスケッチへのベンチマークで最先端の性能を達成している。

ABSTRACT

In this paper, we propose an approach to the domain adaptation, dubbed Second- or Higher-order Transfer of Knowledge (So-HoT), based on the mixture of alignments of second- or higher-order scatter statistics between the source and target domains. The human ability to learn from few labeled samples is a recurring motivation in the literature for domain adaptation. Towards this end, we investigate the supervised target scenario for which few labeled target training samples per category exist. Specifically, we utilize two CNN streams: the source and target networks fused at the classifier level. Features from the fully connected layers fc7 of each network are used to compute second- or even higher-order scatter tensors; one per network stream per class. As the source and target distributions are somewhat different despite being related, we align the scatters of the two network streams of the same class (within-class scatters) to a desired degree with our bespoke loss while maintaining good separation of the between-class scatters. We train the entire network in end-to-end fashion. We provide evaluations on the standard Office benchmark (visual domains), RGB-D combined with Caltech256 (depth-to-rgb transfer) and Pascal VOC2007 combined with the TU Berlin dataset (image-to-sketch transfer). We attain state-of-the-art results.

研究の動機と目的

• ラベル付きターゲットデータが限られるFew-shot学習の状況におけるドメインシフトを解消すること。
• 単純な特徴量の整合性を越えて、ソースドメインとターゲットドメインの共通性をモデル化すること。
• クラス内分散統計の整合性を図ることで分類精度を向上させつつ、クラス間の分離性を維持すること。
• テンソルの整合性を図るための新しい微分可能損失関数を用いて、CNNのエンドツーエンド学習を可能にすること。
• 計算効率を高めるために、クラス固有の整合性重みおよびカーネル化されたバージョンの検討。

提案手法

• 本手法は、2つのCNNスティル（1つはソースドメイン用、もう1つはターゲットドメイン用）のfc7特徴量から、第2次またはそれ以上の分散テンソルを計算する。
• 同じクラスのソースドメインとターゲットドメインのクラス内分散（平均と共分散）を一致させる、新しい損失関数を導入する。
• この損失関数は微分可能であり、ソース統計量によって正則化されたターゲットネットワークのパラメータを含む、ネットワーク全体のエンドツーエンド学習を可能にする。
• 重みなしと重み付きの2種類の整合性損失のバリエーションを提案し、後者は各クラスごとに別々の整合性強度を学習する。
• 大規模なドメイン適応データセットにおける計算速度を向上させるために、損失関数のカーネル化されたバージョンを導入する。
• 本手法は、ソースドメインの統計量がターゲットネットワークの特徴学習をガイドする「特権学習」の枠組みに基づいている。

実験結果

リサーチクエスチョン

• RQ1 第2次またはそれ以上の分散統計量を、転移学習におけるドメインの共通性をモデル化するために効果的に活用する方法は何か？
• RQ2 ドメイン間で平均と共分散を同時に整合させることで、Few-shot分類性能が向上するか？
• RQ3 クラス固有の整合性重みを許容することで、均一な整合性よりも優れた適応が達成できるか？
• RQ4 整合性損失のカーネル化されたバージョンは、精度を損なわせずに訓練時間を著しく短縮できるか？
• RQ5 多様なドメイン適応ベンチマークにおいて、So-HoTは最先端の手法と比較してどの程度優れているか？

主な発見

• So-HoTは、標準的なOfficeベンチマークで最先端の性能を達成し、以前の手法を上回るクロスドメイン分類性能を示した。
• Caltech256と組み合わせたRGB-Dデータセットでも強力な結果を達成し、深度画像からRGB画像へのドメイン適応の有効性を示した。
• Pascal VOC2007からTU Berlinへの画像からスケッチへの転移タスクでは、比較手法の中で最高の精度を記録した。
• 整合性損失の重み付きバージョンは、重みなしバージョンよりも一貫して性能を向上させ、クラス固有の整合性レベルが有益であることを示した。
• 損失関数のカーネル化されたバージョンは、計算コストを削減しながらも競争力ある精度を維持でき、大規模データセットにおける高速な訓練を可能にした。
• So-HoT損失を用いたエンドツーエンド学習により、一般化性能が向上し、ターゲットネットワークがソースドメインの特徴統計と整合するように学習した。