[논문 리뷰] Zero-Shot Deep Domain Adaptation

Kuan–Chuan Peng, Ziyan Wu외 1명|arXiv (Cornell University)|2017. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 태스크 관련 타겟 도메인 학습 데이터가 필요 없이 도메인 적응과 센서 융합을 가능하게 하는 새로운 방법인 Zero-Shot Deep Domain Adaptation (ZDDA)를 제안한다. 태스크 관련이 아닌 이중 도메인 쌍(예: Fashion-MNIST의 회색조 및 RGB 이미지 쌍)을 활용하여, ZDDA는 소스 도메인 표현을 타겟 도메인 의미론과 정렬하는 공동 네트워크를 훈련시켜, MNIST→MNIST-M 및 SUN RGB-D 장면 분류에서 타겟 도메인 데이터가 훈련 중에 존재하지 않는 상황에서도 뛰어난 성능을 달성한다.

ABSTRACT

Domain adaptation is an important tool to transfer knowledge about a task (e.g. classification) learned in a source domain to a second, or target domain. Current approaches assume that task-relevant target-domain data is available during training. We demonstrate how to perform domain adaptation when no such task-relevant target-domain data is available. To tackle this issue, we propose zero-shot deep domain adaptation (ZDDA), which uses privileged information from task-irrelevant dual-domain pairs. ZDDA learns a source-domain representation which is not only tailored for the task of interest but also close to the target-domain representation. Therefore, the source-domain task of interest solution (e.g. a classifier for classification tasks) which is jointly trained with the source-domain representation can be applicable to both the source and target representations. Using the MNIST, Fashion-MNIST, NIST, EMNIST, and SUN RGB-D datasets, we show that ZDDA can perform domain adaptation in classification tasks without access to task-relevant target-domain training data. We also extend ZDDA to perform sensor fusion in the SUN RGB-D scene classification task by simulating task-relevant target-domain representations with task-relevant source-domain data. To the best of our knowledge, ZDDA is the first domain adaptation and sensor fusion method which requires no task-relevant target-domain data. The underlying principle is not particular to computer vision data, but should be extensible to other domains.

연구 동기 및 목표

• 기술적, 예산적, 규제적 제약으로 인해 태스크 관련 타겟 도메인 학습 데이터가 자주 확보되지 않는 실용적 한계를 해결하기 위해.
• 라벨이 있든 없든 타겟 도메인 데이터에 의존하지 않고 도메인 적응을 수행하는 딥 러닝 방법을 개발하기 위해.
• 이 방법을 센서 융합으로 확장하여, 양 모odal에서 쌍화된 학습 데이터가 필요 없이 RGB 및 깊이 데이터의 강건한 융합을 가능하게 하기 위해.
• 기존 방법이 타겟 도메인 데이터에 접근할 수 있는 상황에서도 ZDDA가 이를 능가할 수 있음을 보여주기 위해.
• MNIST, Fashion-MNIST, NIST, EMNIST 및 SUN RGB-D를 포함한 다양한 데이터셋에서 방법을 검증하기 위해.

제안 방법

• ZDDA는 태스크 관련이 아닌 이중 도메인 쌍(예: Fashion-MNIST의 회색조 및 RGB 이미지)을 사용하여 훈련 중에 타겟 도메인 표현을 시뮬레이션한다.
• 태스크 관련 소스 도메인에서의 지도 학습과 소스 및 시뮬레이션된 타겟 표현 간의 정렬 손실을 함께 사용하여 공동 딥 네트워크를 훈련시킨다.
• 태스크에 적합한 분류 등 목적에 맞는 도메인 특화 헤드를 사용하여 소스 도메인 데이터에서 특징을 추출하는 공통 인코더를 활용한다.
• 대비나 적대적 손실을 통해 도메인 불변 표현을 학습시켜 소스 도메인과 시뮬레이션된 타겟 도메인 간의 특징 정렬을 유도한다.
• 센서 융합을 위해 ZDDA는 소스 도메인 데이터(예: 깊이)와 시뮬레이션된 타겟 도메인 데이터(예: RGB)를 기반으로 공동 분류기 훈련을 수행하여, 쌍화된 타겟 도메인 학습 데이터 없이도 융합을 가능하게 한다.
• 단계 3에서 노이즈가 있는 데이터로 훈련하여, 실제 센서 성능 저하에 대한 강건성을 향상시켜 노이즈가 있는 테스트 데이터에 대한 내성 강화를 구현한다.

실험 결과

연구 질문

• RQ1 태스크 관련 타겟 도메인 학습 데이터에 접근하지 않고도 도메인 적응을 달성할 수 있는가?
• RQ2 태스크 관련이 아닌 이중 도메인 쌍을 사용하여 도메인 적응을 위한 타겟 도메인 표현을 효과적으로 시뮬레이션할 수 있는가?
• RQ3 ZDDA는 타겟 도메인 데이터가 필요한 기존 도메인 적응 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 ZDDA는 양 모달에서 쌍화된 학습 데이터가 필요 없이 센서 융합 작업에 적용할 수 있는가?
• RQ5 ZDDA는 추론 중 소스 또는 타겟 도메인에서 노이즈가 있는 입력에 대해 얼마나 강건한가?

주요 결과

• ZDDA는 MNIST-M 분류에서 MNIST-M 학습 데이터를 전혀 사용하지 않음에도 불구하고 59.74%의 정확도를 달성하여, 이러한 데이터를 사용하는 몇몇 최첨단 DA 방법보다 뛰어난 성능을 보였다.
• SUN RGB-D 데이터셋에서 ZDDA 3는 깊이 데이터와 시뮬레이션된 RGB 데이터만을 사용하여 10개 장면 분류에서 63.16%의 정확도를 기록했으며, 노이즈가 있는 상황에서의 단순 융합보다 뛰어난 성능을 보였다.
• ZDDA는 5-겹 및 10-겹 교차 검증에서 일관된 성능을 보였으며, 다양한 데이터 분할 및 클래스 선택에 걸쳐 안정적인 결과를 제공했다.
• ZDDA 3는 노이즈가 있는 테스트 데이터에 대해 뛰어난 강건성을 보였으며, RGB 및 깊이 모달에서 고수준의 노이즈 상황에서 단순 융합보다 최대 15% 높은 정확도를 기록했다.
• 노이즈가 있는 데이터(예: 검은 사각형)로 훈련한 경우에도 강력한 성능을 유지하며, 다른 노이즈 모델로의 일반화 능력까지 확보하여 강력한 강건성을 입증했다.
• ZDDA는 데이터 부족 상황에서의 제로샷 도메인 적응 및 센서 융합 분야에서 최첨단 성능을 달성하여 새로운 기준을 설정했다.