[논문 리뷰] Domain Generalization Using a Mixture of Multiple Latent Domains

Toshihiko Matsuura, Tatsuya Harada|arXiv (Cornell University)|2019. 11. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 25

한 줄 요약

이 논문은 도메인 정체성이 알려지지 않은 다수의 비라벨링된 잠재 도메인 혼합 시나리오를 위한 새로운 도메인 일반화 방법을 제안한다. 컬러리티 통계에서 유도한 스타일 특징을 활용해 샘플을 의사 도메인으로 클러스터링하고, 적대적 학습을 통해 도메인 불변 특징 추출기를 훈련시킴으로써 도메인 레이블이 필요 없이도 최신 기술 수준의 성능을 달성한다. 이는 기존의 진짜 도메인 레이블에 의존하는 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

When domains, which represent underlying data distributions, vary during training and testing processes, deep neural networks suffer a drop in their performance. Domain generalization allows improvements in the generalization performance for unseen target domains by using multiple source domains. Conventional methods assume that the domain to which each sample belongs is known in training. However, many datasets, such as those collected via web crawling, contain a mixture of multiple latent domains, in which the domain of each sample is unknown. This paper introduces domain generalization using a mixture of multiple latent domains as a novel and more realistic scenario, where we try to train a domain-generalized model without using domain labels. To address this scenario, we propose a method that iteratively divides samples into latent domains via clustering, and which trains the domain-invariant feature extractor shared among the divided latent domains via adversarial learning. We assume that the latent domain of images is reflected in their style, and thus, utilize style features for clustering. By using these features, our proposed method successfully discovers latent domains and achieves domain generalization even if the domain labels are not given. Experiments show that our proposed method can train a domain-generalized model without using domain labels. Moreover, it outperforms conventional domain generalization methods, including those that utilize domain labels.

연구 동기 및 목표

• 원천 데이터가 알려지지 않은 다수의 잠재 도메인으로 혼합되어 있는 실제 시나리오에서의 도메인 일반화 문제를 해결하기 위해.
• 이미지 스타일을 도메인 정체성의 대체 지표로 사용하여 라벨이 없는 데이터에서 잠재 도메인을 자동으로 발견하는 방법을 개발하기 위해.
• 진짜 도메인 레이블에 의존하지 않고 도메인 불변 특징 추출기를 훈련시켜, 알려지지 않은 타겟 도메인으로의 일반화 성능을 향상시키기 위해.
• 클러스터링된 스타일 특징에서 유도한 의사 도메인 레이블이 인간 레이블링 도메인 레이블보다 모델 성능에서 뛰어나지 않는지 평가하기 위해.

제안 방법

• 이미지 스타일을 캡처하는 것으로 알려진 컬러리티 레이어 통계(평균 및 표준편차)를 사용해 도메인 구별 특징을 추출한다.
• k-means 또는 유사한 방법을 사용해 추출된 스타일 특징을 기반으로 샘플에 의사 도메인 레이블을 할당한다.
• 훈련 중에 모델이 학습한 특징을 바탕으로 클러스터 할당을 반복적으로 재할당하여 클러스터 성능을 개선한다.
• 모든 의사 도메인 간의 도메인 이동을 최소화하기 위해 공유 특징 추출기를 적대적 학습을 통해 훈련시킨다.
• 예측의 확신도를 높이고 훈련 중 안정성을 향상시키기 위해 엔트로피 손실을 통합한다.
• 두 단계 훈련 과정을 사용한다: 먼저 초도 특징을 사용해 샘플을 클러스터링하고, 이후 다수의 에포크 동안 특징 추출기와 의사 레이블을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 훈련 중에 도메인 레이블이 전혀 제공되지 않는 상황에서도 도메인 일반화 모델이 높은 성능을 달성할 수 있는가?
• RQ2 스타일 특징 기반 클러스터링이 혼합된 원천 데이터 내 잠재 도메인을 효과적으로 발견하는가?
• RQ3 학습된 특징에서 유도한 의사 도메인 레이블이 일반화 성능에서 인간 레이블링 도메인 레이블을 초월할 수 있는가?
• RQ4 잘못된 또는 다양한 수의 가정된 의사 도메인 수에 대해 이 방법의 성능이 얼마나 강인한가?
• RQ5 고정된 레이블링 대비 반복적인 의사 도메인 레이블 재할당이 모델 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 도메인 레이블을 전혀 사용하지 않고도 PACS와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이러한 레이블이 필요한 기존 도메인 일반화 방법보다 뛰어난 성능을 발휘한다.
• 제거 실험 결과, 적대적 손실 또는 엔트로피 손실을 제거하면 성능이 크게 떨어지며, 이는 도메인 일반화에서 이 손실 항목들이 중요한 역할을 한다는 것을 확인한다.
• 스타일 기반 특징을 사용한 클러스터링은 원본 도메인과의 NMI가 더 높다는 점에서, 원시 컬러리티 특징을 사용하는 것보다 더 정확한 도메인 발견을 가능하게 한다.
• 이 방법은 의사 도메인 수에 대해 강인하다: 실제 도메인 수와 다를 경우에도 분류 정확도가 안정적으로 유지된다.
• 고정된 레이블링 대비 반복적인 의사 도메인 레이블 재할당이 성능 향상에 기여함을 확인했으며, 이는 동적 개선이 특징 분리에 기여함을 시사한다.
• 훈련 전반에 걸쳐 의사 도메인 레이블과 원본 도메인 간의 NMI가 높게 유지됨을 확인했으며, 이는 클러스터링이 객체 카테고리가 아닌 도메인 기반으로 샘플을 분리하고 있음을 확인한다.