[논문 리뷰] Deep Domain Confusion: Maximizing for Domain Invariance

Eric Tzeng, Judy Hoffman외 3명|arXiv (Cornell University)|2014. 12. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 2,349

한 줄 요약

이 논문은 CNN에 적응(병목) 계층과 도메인 혼란 손실(MMD 기반)을 도입하여, 판별적이면서 도메인 불변인 표현을 학습하고, Office 데이터셋에서 감독 및 비감독 시각적 도메인 적응을 개선한다.

ABSTRACT

Recent reports suggest that a generic supervised deep CNN model trained on a large-scale dataset reduces, but does not remove, dataset bias on a standard benchmark. Fine-tuning deep models in a new domain can require a significant amount of data, which for many applications is simply not available. We propose a new CNN architecture which introduces an adaptation layer and an additional domain confusion loss, to learn a representation that is both semantically meaningful and domain invariant. We additionally show that a domain confusion metric can be used for model selection to determine the dimension of an adaptation layer and the best position for the layer in the CNN architecture. Our proposed adaptation method offers empirical performance which exceeds previously published results on a standard benchmark visual domain adaptation task.

연구 동기 및 목표

• 다른 도메인에서 데이터가 학습 및 테스트에 사용될 때 시각 인식의 데이터셋 편향을 해결한다.
• 동시에 판별적이고 도메인 불변인 깊은 표현을 학습한다.
• 단일 CNN 프레임워크 내에서 감독 및 비감독 도메인 적응을 모두 가능하게 한다.

제안 방법

• 사전 학습된 CNN 아키텍처 내에 적응 병목 계층을 도입한다.
• 소스-목표 분포 간 거리를 최소화하기 위해 Maximum Mean Discrepancy(MMD)에 기반한 도메인 혼란 손실을 도입한다.
• 레이블 데이터에 대한 분류 손실과 MMD 기반 도메인 불변 손실을 함께 최적화한다.
• 적응 계층의 위치(depth)과 폭(width)(차원)을 안내하기 위해 MMD를 사용한다.
• 포크드 네트워크로 학습한다: 한 가지 가지는 레이블 데이터에 대한 감독 학습, 다른 가지는 모든 데이터에 대해 도메인 혼란을 계산하는 가지.

실험 결과

연구 질문

• RQ1 도메인 혼란 목표가 시각 도메인 간에 깊은 특징의 전달을 향상시킬 수 있는가?
• RQ2 MMD로 안내된 적응 계층의 배치(depth)와 치수(width)가 고정 표현보다 더 나은 도메인 불변 표현을 얻는가?
• RQ3 제안된 접근법이 Office 데이터셋에서 감독 및 비감독 도메인 적응 설정에서 어떻게 수행되는가?

주요 결과

• 제안된 방법은 감독 및 비감독 설정 모두에서 Office 벤치마크의 기존 도메인 적응 방법을 현저히 능가한다.
• MMD 기반 계층 선택(depth) 및 차원 선택(width)이 도메인 차이를 최소화하고 대상 정확도를 최대화하는 표현을 정확히 식별한다.
• Amazon에서 Web캠으로의 전송 하에서, 방법은 이전 연구 대비 감독 84.1%(0.6) 및 비감독 60%의 베이스라인 개선을 달성하고, 제안된 접근은 표 1에서 평균 91.9%, 표 2에서 평균 81.2%에 도달한다.
• 도메인 혼란 손실로의 정규화는 미세 조정 중 소스 도메인에 대한 과적합을 방지하는 데 도움이 되어 최종 정확도가 높아진다.
• t-SNE 시각화는 학습된 표현에서 도메인 혼합된 잘 분리된 클래스 클러스터를 보여 도메인 불변성이 효과적임을 시사한다.