[論文レビュー] Domain Alignment with Triplets

Weijian Deng, Liang Zheng+1 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 10

ひとこと要約

本稿では、類似度制約付きアライメント（SCA）と呼ばれる新しい教師なしドメイン適応手法を提案する。この手法は、ソースドメインとターゲットドメイン間のクラスレベルの意味的関係を保持することで、ドメイン不変特徴の学習を向上させる。ジョイント分布マッチングによるドメインレベルのアライメントと、疑似ラベルを付与されたターゲットデータを用いた三重損失に基づく類似度制約を組み合わせることで、類似度の誤アライメントを低減し、Office-31で最先端のベースライン比最大5.7%の精度向上を達成する。

ABSTRACT

Deep domain adaptation methods can reduce the distribution discrepancy by learning domain-invariant embedddings. However, these methods only focus on aligning the whole data distributions, without considering the class-level relations among source and target images. Thus, a target embeddings of a bird might be aligned to source embeddings of an airplane. This semantic misalignment can directly degrade the classifier performance on the target dataset. To alleviate this problem, we present a similarity constrained alignment (SCA) method for unsupervised domain adaptation. When aligning the distributions in the embedding space, SCA enforces a similarity-preserving constraint to maintain class-level relations among the source and target images, i.e., if a source image and a target image are of the same class label, their corresponding embeddings are supposed to be aligned nearby, and vise versa. In the absence of target labels, we assign pseudo labels for target images. Given labeled source images and pseudo-labeled target images, the similarity-preserving constraint can be implemented by minimizing the triplet loss. With the joint supervision of domain alignment loss and similarity-preserving constraint, we train a network to obtain domain-invariant embeddings with two critical characteristics, intra-class compactness and inter-class separability. Extensive experiments conducted on the two datasets well demonstrate the effectiveness of SCA.

研究の動機と目的

• 教師なしドメイン適応における意味的誤アライメント問題に対処すること。これは、ドメイン不変埋め込みが異なるクラスの画像を誤ってアライメントしてしまう可能性があるためである。
• 埋め込み空間におけるクラス内コンパクト性とクラス間分離性を維持することで、ターゲットドメインにおける分類器の一般化性能を向上させること。
• ターゲットラベルを一切必要とせずに、ドメイン間で類似度を保存する制約を強制する手法を開発すること。
• ドメインレベルのアライメントと三重損失によるメトリクス学習を組み合わせることで、転移性能が向上することを実証すること。

提案手法

• 本手法は、埋め込み空間におけるソースデータとターゲットデータの分布をアライメントするために、ジョイント分布マッチング（JMMD）を用いる。
• 同じクラスの埋め込みが引き寄せられ、異なるクラスの埋め込みが遠ざけられるように、三重損失を用いた類似度保存制約を導入する。
• ラベル付きソースデータで訓練された分類器を用いて、信頼度が高い予測結果のみを用いてターゲット画像に疑似ラベルを付与する。
• 最終的なモデルは、ドメインの混乱損失（JMMD）とメトリクス学習のための三重損失を組み合わせた総合損失関数を用いてエンドツーエンドで訓練する。
• 三重損失は、同じクラスのペア（ソースおよびターゲットの同一クラス画像）が異なるクラスペアよりも埋め込み空間で近くなるように制約を課す。
• 本手法は、敵対的適応（例：RevGrad）などの他のドメインアライメント技術とも互換性があり、それらと組み合わせて使用可能である。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメイン間のクラスレベルの意味的関係を保持することで、教師なしドメイン適応の性能が向上するか？
• RQ2 類似度保存制約が、ドメインレベルおよびクラスレベルの埋め込みアライメントにどのように影響するか？
• RQ3 疑似ラベルを付与されたターゲットデータを前提とした場合、ドメインレベルのアライメントとメトリクス学習の最適なトレードオフは何か？
• RQ4 提案手法は、敵対的学習や乖離最小化などの既存のドメインアライメント技術と効果的に組み合わせられるか？

主な発見

• SCAは、類似度保存制約のみを適用した場合、Office-31でベースライン比平均4.5%の精度向上を達成する。
• Office-31のA→W、W→A、D→Aタスクにおいて、SCA-RevGrad（SCAと敵対的適応を組み合わせたもの）は、RevGrad単体と比較してそれぞれ+5.7%、+4.0%、+5.1%の性能向上を示す。
• A-distanceで測定される分布乖離は、SCA特徴を用いることで、ベースラインおよびドメインレベルのアライメントのみを適用した場合と比較して顕著に低減される。
• ドメインアライメントと類似度制約の最適なバランスは、重みハイパーパrameter β = 1 で達成され、より高い値（例：β = 5）では性能が低下する。
• t-SNE可視化により、SCA埋め込みは明確なクラス分離とドメインアライメントを維持しており、標準的なドメインアライメントと比較して意味的誤アライメントが低減していることが確認された。
• 本手法は、疑似ラベルを付与されたターゲットデータを効果的に活用してドメイン間のメトリクスの一貫性を強制するため、優れた一般化性能を示している。