[論文レビュー] Deep Hashing Network for Unsupervised Domain Adaptation

Hemanth Venkateswara, José Eusébio+2 more|arXiv (Cornell University)|Jun 22, 2017

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本稿では、ラベル付きソースデータとラベルなしターゲットデータを用いて、コン pact なバイナリーハッシュコードの学習とドメイン分布の整合化を同時に実行する深層学習フレームワーク、ドメイン適応ハッシング（DAH）を提案する。教師ありハッシュ損失、教師なしエントロピー損失、マルチカーネルMMDを統合することで、ハッシングにおける非教師ありドメイン適応において最先端の性能を達成し、新しく導入されたOffice-Homeデータセットにおいて64ビットでの平均mAPが0.480に達した。

ABSTRACT

In recent years, deep neural networks have emerged as a dominant machine learning tool for a wide variety of application domains. However, training a deep neural network requires a large amount of labeled data, which is an expensive process in terms of time, labor and human expertise. Domain adaptation or transfer learning algorithms address this challenge by leveraging labeled data in a different, but related source domain, to develop a model for the target domain. Further, the explosive growth of digital data has posed a fundamental challenge concerning its storage and retrieval. Due to its storage and retrieval efficiency, recent years have witnessed a wide application of hashing in a variety of computer vision applications. In this paper, we first introduce a new dataset, Office-Home, to evaluate domain adaptation algorithms. The dataset contains images of a variety of everyday objects from multiple domains. We then propose a novel deep learning framework that can exploit labeled source data and unlabeled target data to learn informative hash codes, to accurately classify unseen target data. To the best of our knowledge, this is the first research effort to exploit the feature learning capabilities of deep neural networks to learn representative hash codes to address the domain adaptation problem. Our extensive empirical studies on multiple transfer tasks corroborate the usefulness of the framework in learning efficient hash codes which outperform existing competitive baselines for unsupervised domain adaptation.

研究の動機と目的

• ターゲットドメインにおけるラベル付きデータの不足に取り組むために、関連するソースドメインからのラベル付きデータを活用すること。
• 情報性の高いハッシュコードの学習とドメインシフトの低減を同時に実行する統合的な深層学習フレームワークの開発。
• コン pact なバイナリ表現を用いることで、非教師ありドメイン適応における画像分類の効率性と正確性の向上。
• オブジェクト認識におけるドメイン適応アルゴリズムの評価のための新しいベンチマークデータセット、Office-Homeの導入。

提案手法

• 確率ベクトルの代わりにバイナリーハッシュコードを出力する深層ニューラルネットワークを提案し、効率的なストレージと検索を可能にする。
• 同じクラスに属するソースサンプルが類似したハッシュコードを持つように保つため、教師ありハッシュ損失を採用する。
• 各ラベルなしターゲットサンプルが1つのソースカテゴリに一致するよう促すために、教師なしエントロピー損失を適用する。
• ネットワークの各層においてドメイン分布の差を最小化するために、マルチカーネル最大平均差分（MK-MMD）損失を統合する。
• すべての3つの成分を組み合わせた複合損失関数を用いて、ネットワークをエンドツーエンドで訓練する。
• 評価に使用するOffice-Homeデータセットは、65カテゴリーにまたがる15,500枚の画像と4つのドメイン（アート、クリップアート、プロダクト、リアルワールド）を含む。

Figure 1: The Domain Adaptive Hash (DAH) network that outputs hash codes for the source and the target. The network is trained with a batch of source and target data. The convolution layers conv 1 - conv 5 and the fully connected layers fc 6 and fc 7 are fine tuned from the VGG-F network. The MK-MMD

実験結果

リサーチクエスチョン

• RQ1 非教師ありドメイン適応のためのコン pact なハッシュコードを学習するために、深層ニューラルネットワークを効果的に適応できるか。
• RQ2 ハッシュコード学習とドメイン整合化を同時に最適化することで、分離した学習に比べて性能がどのように向上するか。
• RQ3 ソースドメインからのラベル付きデータが、ラベルなしターゲットドメインにおけるハッシュコードの質をどの程度向上できるか。
• RQ4 提案されたDAHフレームワークは、従来の非教師ありおよび教師ありハッシング手法と比較して、正確性と効率性の面でどの程度優れているか。

主な発見

• 提案されたDAHフレームワークは、Office-Homeデータセットにおいて64ビットハッシュコード長で平均平均精度（mAP）0.480を達成し、すべての非教師ありベースラインを顕著に上回った。
• Officeデータセットでは、WebcamでmAP 0.717、AmazonでmAP 0.582を達成し、最良の非教師あり手法（BDNN）をそれぞれ6.5%および12.6%上回った。
• DAHは、ドメインシフトに苦しむNoDA（ドメイン適応なし）を常に上回っており、ハッシングにおけるドメイン整合の必要性を示している。
• 教師なしエントロピー損失は、ラベルがなくてもターゲットサンプルがソースカテゴリに一致するよう効果的に誘導し、ゼロショット設定における耐性を高めた。
• 教師ありハッシング（SuH）に近い性能を達成しており、これは弱教師あり状況下での有効性を示している。
• アートからクリップアート、プロダクトからリアルワールド、AmazonからWebcamへの多様なドメインシフトに対しても、優れた一般化性能を示しており、強力な転送性を示している。

Figure 2: Sample images from the Office-Home dataset. The dataset consists of images of everyday objects organized into 4 domains; Art : paintings, sketches and/or artistic depictions, Clipart : clipart images, Product : images without background and Real-World : regular images captured with a camer