[논문 리뷰] Deeper, Broader and Artier Domain Generalization

Da Li, Yongxin Yang외 2명|arXiv (Cornell University)|2017. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 4

한 줄 요약

이 논문은 사진, 예술 그림, 만화, 스케치 도메인을 포함하는 더 도전적인 신규 벤치마크 데이터셋인 PACS에서 이전 방법들을 능가하는 엔드 투 엔드 도메인 일반화를 위한 저랭크 파arameterized CNN을 제안한다. 방법은 2-hot 인코딩된 도메인 기술자와 저랭크 분해를 사용하여 도메인 간 지식을 공유하면서 과적합을 줄이며, PACS 벤치마크에서 69.21%의 평균 정확도로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The problem of domain generalization is to learn from multiple training domains, and extract a domain-agnostic model that can then be applied to an unseen domain. Domain generalization (DG) has a clear motivation in contexts where there are target domains with distinct characteristics, yet sparse data for training. For example recognition in sketch images, which are distinctly more abstract and rarer than photos. Nevertheless, DG methods have primarily been evaluated on photo-only benchmarks focusing on alleviating the dataset bias where both problems of domain distinctiveness and data sparsity can be minimal. We argue that these benchmarks are overly straightforward, and show that simple deep learning baselines perform surprisingly well on them. In this paper, we make two main contributions: Firstly, we build upon the favorable domain shift-robust properties of deep learning methods, and develop a low-rank parameterized CNN model for end-to-end DG learning. Secondly, we develop a DG benchmark dataset covering photo, sketch, cartoon and painting domains. This is both more practically relevant, and harder (bigger domain shift) than existing benchmarks. The results show that our method outperforms existing DG alternatives, and our dataset provides a more significant DG challenge to drive future research.

연구 동기 및 목표

• 기존 도메인 일반화(DG) 벤치마크의 한계를 해결하기 위해, 도메인 이동이 최소한이고 사진 전용 도메인에 기반한 너무 단순한 벤치마크를 개선하고자 한다.
• 실제 세계 상황을 반영하는 더 실용적이고 도전적인 DG 벤치마크를 개발하여, 목표 도메인(예: 스케치, 그림)이 데이터가 부족하고 사진과 시각적으로 다를 수 있음을 반영하고자 한다.
• 저랭크 파arameterized 가중치 생성을 통해 도메인에 관계없이 특징과 분류기를 엔드 투 엔드로 학습할 수 있는 새로운 딥 러닝 방법을 제안하고자 한다.
• 더 현실적이고 높은 도메인 이동을 반영하는 벤치마크에서 평가할 경우, 단순한 딥 러닝 베이스라인 방법이 목적에 맞게 설계된 DG 방법보다 성능이 뛰어나다는 것을 입증하고자 한다.

제안 방법

• 모델 파라미터를 줄이고 층 간에 융통성 있고 학습 가능한 도메인 공유를 가능하게 하는 저랭크 파arameterized 컨볼루션 신경망(CNN)을 제안한다.
• 텐서 기반의 가중치 생성 네트워크를 통해 도메인 기술자의 2-hot 인코딩을 사용하여 공통의 도메인에 관계없는 분류기 가중치를 생성한다.
• 가중치 생성 파라미터에 저랭크 분해를 적용하여 도메인 간 지식 공유 정도를 동적으로 층 별로 제어할 수 있도록 한다.
• 조정된 모델에 대해 터커 분해를 수행하여 층 별로 학습된 지식 공유 강도를 분석하고, 초기 층에서는 후속 완전 연결 층보다 더 높은 공유 강도를 보임을 확인한다.
• 사진, 그림, 만화, 스케치와 같은 다수의 소스 도메인에서 엔드 투 엔드 학습을 수행하여 특징 추출과 도메인에 관계없는 분류를 동시에 최적화한다.
• 각 구성 요소의 기여도를 평가하기 위한 새로운 아블레이션 프레임워크를 도입한다: 도메인 기술자 인코딩, 저랭크 분해, 다중 층 적용.

실험 결과

연구 질문

• RQ1 더 현실적이고 도전적인 벤치마크에서 평가할 경우, 단순한 엔드 투 엔드 딥 러닝 베이스라인 방법이 목적에 맞게 설계된 도메인 일반화 방법보다 성능이 뛰어나게 되는가?
• RQ2 새로운 벤치마크(PACS)의 도메인 이동 정도가 기존 사진 전용 벤치마크에 비해 곤란도와 실용성 측면에서 어떻게 다른가?
• RQ3 저랭크 파라미터화와 2-hot 인코딩된 도메인 기술자가 다양한 시각적 도메인 간 일반화 성능 향상에 얼마나 기여하는가?
• RQ4 도메인 일반화 설정에서 신경망의 다양한 층에서 학습된 공유 강도는 어떻게 변화하는가?
• RQ5 다중 층 저랭크 가중치 생성과 단일 층의 피지컬 튜닝 중 어느 것이 도메인 일반화에 더 큰 기여를 하는가?

주요 결과

• 제안된 방법인 Ours-Full은 PACS 벤치마크에서 69.21%의 평균 정확도를 달성하여, uDICA 및 D-MTAE-1HNN를 포함한 모든 이전 DG 방법을 능가한다.
• 아블레이션 연구 결과, 2-hot 인코딩, 저랭크 분해, 다중 층 적용 각각이 성능 향상에 점진적으로 기여하며, Ours-Full은 2HE+Decomp-Last보다 평균 5.11% 높은 성능을 보였다.
• 모델은 융통성 있고 층 별로 다른 공유 강도를 학습한다: 초기 컨볼루션 층(Conv1–Conv3)은 높은 공유를 보이고, 후속 층(FC6–FC8)은 낮은 공유를 보이며, 중간 층은 미리 보지 않은 도메인에 따라 변화한다.
• 스케치가 미리 보지 않은 도메인일 경우, 모델은 사진, 그림, 만화 도메인 간에 더 높은 공유를 학습하며, 이는 이들 도메인이 스케치와 상대적으로 시각적으로 유사하기 때문이다.
• 터커 분해 결과, 모델은 스케치가 가장 이질적인 도메인임을 자동으로 학습하여, 훈련 도메인에서 제외될 경우 공유 강도가 낮아짐을 확인했다.
• Deep-ALL 및 SVM과 같은 강력한 베이스라인을 능가함으로써, 명시적인 DG 인덕티브 바이어스를 가진 엔드 투 엔드 딥 러닝이 얕거나 수작업으로 설계된 접근보다 더 효과적임을 입증했다.