[논문 리뷰] Deep Hashing Network for Unsupervised Domain Adaptation

Hemanth Venkateswara, José Eusébio외 2명|arXiv (Cornell University)|2017. 06. 22.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 레이블이 부여된 소스 데이터와 레이블이 없는 타겟 데이터를 사용하여 압축된 이진 해시 코드를 공동으로 학습하고 도메인 분포를 정렬하는 딥러닝 프레임워크인 도메인 적응 해싱(DAH)을 제안한다. 감독 학습 해시 손실, 비감독 엔트로피 손실, 다중 커널 MMD를 통합함으로써 DAH는 해싱을 위한 비감독 도메인 적응에서 최고 성능을 달성하며, 새로 제안된 Office-Home 데이터셋에서 64비트에서 평균 mAP 0.480을 기록하여 기존 방법들을 능가한다.

ABSTRACT

In recent years, deep neural networks have emerged as a dominant machine learning tool for a wide variety of application domains. However, training a deep neural network requires a large amount of labeled data, which is an expensive process in terms of time, labor and human expertise. Domain adaptation or transfer learning algorithms address this challenge by leveraging labeled data in a different, but related source domain, to develop a model for the target domain. Further, the explosive growth of digital data has posed a fundamental challenge concerning its storage and retrieval. Due to its storage and retrieval efficiency, recent years have witnessed a wide application of hashing in a variety of computer vision applications. In this paper, we first introduce a new dataset, Office-Home, to evaluate domain adaptation algorithms. The dataset contains images of a variety of everyday objects from multiple domains. We then propose a novel deep learning framework that can exploit labeled source data and unlabeled target data to learn informative hash codes, to accurately classify unseen target data. To the best of our knowledge, this is the first research effort to exploit the feature learning capabilities of deep neural networks to learn representative hash codes to address the domain adaptation problem. Our extensive empirical studies on multiple transfer tasks corroborate the usefulness of the framework in learning efficient hash codes which outperform existing competitive baselines for unsupervised domain adaptation.

연구 동기 및 목표

• 타겟 도메인에서 레이블이 부족한 문제를 관련된 소스 도메인의 레이블 데이터를 활용하여 해결하고자 한다.
• 정보적인 해시 코드를 동시에 학습하고 도메인 이탈을 줄이는 통합된 딥러닝 프레임워크를 개발하고자 한다.
• 압축된 이진 표현을 사용하여 비감독 도메인 적응 하에 이미지 분류의 효율성과 정확도를 향상시키고자 한다.
• 객체 인식에서 도메인 적응 알고리즘을 평가하기 위한 새로운 벤치마크 데이터셋인 Office-Home을 제안하고자 한다.

제안 방법

• 확률 벡터가 아닌 이진 해시 코드를 출력하는 딥 네ural 네트워크를 제안하여 효율적인 저장 및 검색을 가능하게 한다.
• 동일 클래스의 소스 샘플이 유사한 해시 코드를 가지도록 보장하기 위해 감독 학습 해시 손실을 적용한다.
• 각 레이블이 없는 타겟 샘플이 하나의 소스 카테고리와 정렬되도록 유도하기 위해 비감독 엔트로피 손실을 적용한다.
• 네트워크 레이어 전반에 걸쳐 도메인 분포의 차이를 최소화하기 위해 다중 커널 최대 평균 불일치(MK-MMD) 손실을 통합한다.
• 모든 세 가지 구성 요소를 포함한 복합 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 평가를 위해 65개 카테고리와 4개 도메인(예술, 클립아트, 제품, 리얼월드)에 걸쳐 총 15,500장의 이미지를 포함하는 Office-Home 데이터셋을 사용한다.

Figure 1: The Domain Adaptive Hash (DAH) network that outputs hash codes for the source and the target. The network is trained with a batch of source and target data. The convolution layers conv 1 - conv 5 and the fully connected layers fc 6 and fc 7 are fine tuned from the VGG-F network. The MK-MMD

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 비감독 도메인 적응을 위한 압축된 해시 코드를 효과적으로 학습하는 데에 적합한가?
• RQ2 해시 코드 학습과 도메인 정렬을 동시에 최적화하는 것이 별도의 훈련에 비해 성능 향상에 얼마나 기여하는가?
• RQ3 소스 도메인의 레이블 데이터가 타겟 도메인의 레이블이 없는 환경에서 해시 코드의 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 DAH 프레임워크는 기존의 비감독 및 감독 해싱 방법과 비교해 정확도와 효율성 측면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 DAH 프레임워크는 Office-Home 데이터셋에서 64비트 해시 코드 길이에서 평균 평균 정밀도(mAP) 0.480을 달성하여 모든 비감독 기반 베이스라인을 크게 능가한다.
• Office 데이터셋에서 DAH는 웹캠에 대해 mAP 0.717, 아마존에 대해 0.582를 기록하여 최고의 비감독 방법(BDNN)보다 각각 6.5%, 12.6% 높은 성능을 보였다.
• DAH는 도메인 이탈 문제로 인해 성능이 저하되는 NoDA(도메인 적응 없음)를 항상 능가하여 도메인 정렬이 해싱에서 필수적임을 입증한다.
• 비감독 엔트로피 손실은 레이블 없이도 타겟 샘플이 소스 카테고리와 정렬되도록 효과적으로 이끌어내어 제로샷 설정에서의 강건성을 향상시킨다.
• 감독 해싱(SuH)이 타겟 레이블을 사용하는 것과 비슷한 성능을 달성함으로써, DAH가 약한 감독 환경에서 매우 효과적임을 시사한다.
• 예술에서 클립아트, 제품에서 리얼월드, 아마존에서 웹캠에 이르기까지 다양한 도메인 이탈 상황에서도 프레임워크가 잘 일반화되어 강력한 이식성을 보였다.

Figure 2: Sample images from the Office-Home dataset. The dataset consists of images of everyday objects organized into 4 domains; Art : paintings, sketches and/or artistic depictions, Clipart : clipart images, Product : images without background and Real-World : regular images captured with a camer