[논문 리뷰] Domain Adaptation by Mixture of Alignments of Second- or Higher-Order Scatter Tensors

Piotr Koniusz, Yusuf Tas외 1명|arXiv (Cornell University)|2016. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 6

한 줄 요약

이 논문은 소수의 샘플만 있는 타겟 데이터에서의 도메인 슬립 문제를 해결하기 위해, 소스 도메인과 타겟 도메인의 특징에서 두 번째 또는 고차원 산란 텐서를 학습 가능한 손실을 통해 정렬하는 새로운 도메인 적응 방법인 Second- 또는 Higher-order Transfer of Knowledge (So-HoT)를 제안한다. 이 방법은 종단 간 컨volution 네트워크 프레임워크 내에서 클래스 내 산란 정렬과 클래스 간 분離를 동시에 최적화함으로써 오피스, RGB-D, 그리고 이미지에서 스케치로의 전이 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose an approach to the domain adaptation, dubbed Second- or Higher-order Transfer of Knowledge (So-HoT), based on the mixture of alignments of second- or higher-order scatter statistics between the source and target domains. The human ability to learn from few labeled samples is a recurring motivation in the literature for domain adaptation. Towards this end, we investigate the supervised target scenario for which few labeled target training samples per category exist. Specifically, we utilize two CNN streams: the source and target networks fused at the classifier level. Features from the fully connected layers fc7 of each network are used to compute second- or even higher-order scatter tensors; one per network stream per class. As the source and target distributions are somewhat different despite being related, we align the scatters of the two network streams of the same class (within-class scatters) to a desired degree with our bespoke loss while maintaining good separation of the between-class scatters. We train the entire network in end-to-end fashion. We provide evaluations on the standard Office benchmark (visual domains), RGB-D combined with Caltech256 (depth-to-rgb transfer) and Pascal VOC2007 combined with the TU Berlin dataset (image-to-sketch transfer). We attain state-of-the-art results.

연구 동기 및 목표

• 라벨이 부족한 타겟 데이터에서 발생하는 도메인 슬립 문제를 해결하기 위해.
• 간단한 특징 정렬을 넘어서 소스 도메인과 타겟 도메인 간의 공통성을 모델링하기 위해.
• 클래스 내 산란 통계를 정렬함으로써 분류 정확도를 향상시키면서도 클래스 간 분리성을 유지하기 위해.
• 텐서 정렬을 위한 새로운 미분 가능한 손실을 사용하여 종단 간 컨볼루션 네트워크의 훈련을 가능하게 하기 위해.
• 계산 효율성을 높이기 위해 클래스별로 다른 정렬 가중치와 커널화된 변형을 탐색하기 위해.

제안 방법

• 이 방법은 두 개의 컨볼루션 네트워크 스트림(소스 도메인용과 타겟 도메인용)의 fc7 특징에서 두 번째 또는 고차원 산란 텐서를 계산한다.
• 동일한 클래스의 소스 도메인과 타겟 도메인 간의 클래스 내 산란(평균 및 공분산)을 정렬하는 데 사용되는 새로운 손실 함수를 도입한다.
• 이 손실 함수는 미분 가능하며, 소스 통계에 의해 정규화된 타겟 네트워크의 파라미터까지 포함한 전체 네트워크의 종단 간 훈련을 가능하게 한다.
• 비가중치 및 가중치 버전의 정렬 손실을 제안하며, 후자는 각 클래스별로 별도의 정렬 강도를 학습한다.
• 대규모 도메인 적응 데이터셋에서의 계산을 가속화하기 위해 손실의 커널화된 변형을 도입한다.
• 소스 도메인 통계가 타겟 네트워크의 특징 학습을 이끄는 전문 지식 학습 기반의 접근 방식이다.

실험 결과

연구 질문

• RQ1 두 번째 또는 고차원 산란 통계는 전이 학습에서 도메인의 공통성을 효과적으로 모델링하는 데 어떻게 활용될 수 있는가?
• RQ2 소스 도메인과 타겟 도메인 간 평균과 공분산을 동시에 정렬함으로써 소수의 샘플 분류 성능을 향상시킬 수 있는가?
• RQ3 클래스별로 다른 정렬 가중치를 허용하면 균일한 정렬보다 더 나은 적응 성능을 얻을 수 있는가?
• RQ4 정렬 손실의 커널화된 변형은 정확도를 손상시키지 않으면서 훈련 시간을 크게 줄일 수 있는가?
• RQ5 다양한 도메인 적응 벤치마크에서 So-HoT는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• So-HoT는 표준 오피스 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 더 높은 성능을 보였다.
• RGB-D와 캘테크256 데이터셋을 결합한 실험에서 강력한 성능을 보이며 깊이에서 RGB 도메인으로의 전이 적응에서의 효과성을 입증했다.
• 파스칼 VOC2007에서 TU 베를린으로의 이미지에서 스케치로의 전이 작업에서 So-HoT는 비교된 방법들 중 가장 높은 정확도를 기록했다.
• 정렬 손실의 가중치 버전은 비가중치 버전보다 일관되게 성능 향상을 보였으며, 이는 클래스별로 다른 정렬 수준이 유익하다는 것을 시사한다.
• 손실의 커널화된 변형은 계산 비용을 줄였으며 경쟁 가능한 정확도를 유지함으로써 대규모 데이터셋에서의 빠른 훈련을 가능하게 했다.
• So-HoT 손실을 사용한 종단 간 훈련은 일반화 성능을 향상시키며, 타겟 네트워크가 소스 도메인의 통계와 일치하는 특징 통계를 생성하도록 학습한다.