[논문 리뷰] Agnostic Domain Generalization.

Fabio Maria Carlucci, Paolo Russo외 2명|arXiv (Cornell University)|2018. 08. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 12

한 줄 요약

이 논문은 레이블이 없거나 심지어 레이블이 없는 타겟 데이터가 없는 현실적 환경에서, 여러 소스 도메인에서 무작위로 생성된 무스타일 이미지를 활용하여 도메인 간 일반화 성능을 향상시키는 도메인 일반화 방법을 제안한다. 이미지 수준와 특징 수준에서 이중 적대적 도메인 분류기를 사용하는 딥 아키텍처를 통해 모델은 도메인 특화된 스타일과 카테고리 지식을 분리시키며, 다중 소스 도메인 적응 및 도메인 일반화 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The ability to generalize across visual domains is crucial for the robustness of artificial recognition systems. Although many training sources may be available in real contexts, the access to even unlabeled target samples cannot be taken for granted, which makes standard unsupervised domain adaptation methods inapplicable in the wild. In this work we investigate how to exploit multiple sources by hallucinating a deep visual domain composed of images, possibly unrealistic, able to maintain categorical knowledge while discarding specific source styles. The produced agnostic images are the result of a deep architecture that applies pixel adaptation on the original source data guided by two adversarial domain classifier branches at image and feature level. Our approach is conceived to learn only from source data, but it seamlessly extends to the use of unlabeled target samples. Remarkable results for both multi-source domain adaptation and domain generalization support the power of hallucinating agnostic images in this framework.

연구 동기 및 목표

• 실제 환경에서 타겟 도메인 데이터가 레이블 없이 제공되지 않을 경우 도메인 일반화 문제를 해결하기 위해.
• 타겟 도메인 데이터에 의존하지 않고 여러 소스 도메인에서 강건한 표현을 학습하는 방법을 개발하기 위해.
• 가짜로 생성된, 내용은 현실적이지만 스타일이 무스타일인 이미지가 다양한 시각적 도메인 간 일반화를 향상시키는지 탐색하기 위해.
• 사용 가능한 경우 타겟 도메인의 레이블이 없는 샘플을 원활하게 통합할 수 있는 훈련 프레임워크를 설계하기 위해.

제안 방법

• 이 방법은 소스 데이터에서 이미지를 생성하는 딥 생성 아키텍처를 사용하며, 도메인 특화된 스타일을 제거하면서도 의미적 콘텐츠를 유지한다.
• 이중 적대적 도메인 분류기(이미지 수준과 특징 수준)를 사용하여 도메인 특화된 특징를 분리시킨다.
• 이미지 수준의 판별기는 생성된 이미지가 시각적으로 타당하되 스타일이 무스타일임을 보장하고, 특징 수준의 판별기는 도메인 불변 표현을 강제한다.
• 모델은 소스 데이터만으로 훈련되지만, 나중에 레이블이 없는 타겟 데이터가 제공될 경우에도 효과적으로 새로운 도메인으로 일반화된다.
• 적대적 훈련과 픽셀 수준의 적응을 통해 종단 간 도메인 불변 특징 학습을 가능하게 한다.
• 이 방법은 훈련 중에 레이블이 없는 타겟 샘플을 포함시킬 수 있어, 재학습 없이도 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 훈련 중에 타겟 도메인 데이터가 전혀 없을 경우 모델이 시각적 도메인 간 효과적으로 일반화될 수 있는가?
• RQ2 이미지 가짜 생성이 도메인 특화된 스타일을 제거하면서도 의미적 콘텐츠를 효과적으로 유지하는 데 얼마나 효과적인가?
• RQ3 타겟 데이터를 사용하지 않고 뿐만 아니라 소스 데이터만으로 훈련된 모델이 타겟 데이터를 사용하는 방법과 유사한 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 재학습 없이도 레이블이 없는 타겟 샘플을 포함시킬 수 있는가?
• RQ5 이미지 수준과 특징 수준에서 이중 적대적 훈련이 단일 수준의 접근 방식보다 더 나은 도메인 불변 표현을 만들어내는가?

주요 결과

• 제안된 방법은 타겟 데이터를 전혀 사용하지 않고도 다중 소스 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 가짜로 생성된 무스타일 이미지는 소스 도메인 특화된 스타일을 제거하면서도 카테고리 지식을 효과적으로 유지하여 강력한 일반화를 가능하게 한다.
• 모델은 예측되지 않은 도메인으로도 잘 일반화되어 제로샷 도메인 일반화 설정에서 뛰어난 강건성을 보인다.
• 레이블이 없는 타겟 데이터를 통합할 경우 성능이 더욱 향상되어, 이 방법의 유연성과 확장성을 입증한다.
• 이미지 수준과 특징 수준에서 이중 적대적 훈련은 단일 수준의 접근 방식보다 더 잘 분리된 도메인 불변 표현을 만들어낸다.
• 기존의 도메인 일반화 및 비지도 도메인 적응 방법보다 표준 벤치마크에서 뛰어난 성능을 보이며, 이 방법의 효과성을 확인한다.