[논문 리뷰] VisDA: The Visual Domain Adaptation Challenge

Xingchao Peng, Ben Usman외 4명|arXiv (Cornell University)|2017. 10. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 575

한 줄 요약

VisDA2017 대규모 합성-실제 비지도 도메인 적응 벤치마크를 도입하여 이미지 분류 및 의미 분할을 평가하고, 기저선 결과와 챌린지 방법들이 도메인 적응 방법으로부터 상당한 수익을 보여줌.

ABSTRACT

We present the 2017 Visual Domain Adaptation (VisDA) dataset and challenge, a large-scale testbed for unsupervised domain adaptation across visual domains. Unsupervised domain adaptation aims to solve the real-world problem of domain shift, where machine learning models trained on one domain must be transferred and adapted to a novel visual domain without additional supervision. The VisDA2017 challenge is focused on the simulation-to-reality shift and has two associated tasks: image classification and image segmentation. The goal in both tracks is to first train a model on simulated, synthetic data in the source domain and then adapt it to perform well on real image data in the unlabeled test domain. Our dataset is the largest one to date for cross-domain object classification, with over 280K images across 12 categories in the combined training, validation and testing domains. The image segmentation dataset is also large-scale with over 30K images across 18 categories in the three domains. We compare VisDA to existing cross-domain adaptation datasets and provide a baseline performance analysis using various domain adaptation models that are currently popular in the field.

연구 동기 및 목표

• 합성에서 실제 이미지를 대상으로 하는 비지도 도메인 적응(UDA)을 평가하여 도메인 시프트 문제를 해결한다.
• 객체 분류와 의미 기반 분할 모두를 위한 대규모 다중 도메인 벤치마크를 제공한다.
• 강건한 UDA 방법 개발에서 대상 도메인 라벨이나 감독형 사전 학습에 대한 의존성을 줄인다.
• 교차 도메인 시각 인식의 발전을 이끌기 위해 기저선과 챌린지 결과를 제공한다.

제안 방법

• 12개 카테고리에 걸친 COCO 및 YouTube-BB로부터의 합성 학습 이미지 152,397장과 실제 검증/테스트 이미지로 구성된 대규모 VisDA-C 분류 데이터세트를 구축한다.
• 기저선 CNN(AlexNet, ResNet/ResNext 변형)과 Deep Adaptation Network(DAN), Deep CORAL 등 UDA 방법을 비교한다.
• MMD 기반 및 2차 통계 정렬 기법을 사용한 비지도 도메인 적응을 구현한다.
• 테스트 세트에서 하이퍼파라미터 튜닝을 방지하기 위해 두 개의 대상 도메인(검증: MS COCO; 테스트: YouTube Bounding Boxes)을 제공한다.
• GTA5(합성)에서 CityScapes(실제)로의 VisDA-S 의미 분할 벤치마크를 Nexar를 테스트 도메인으로 확장한다.
• 도메인 적응으로 인한 이득과 더 견고한 UDA 방법의 필요성을 보여주기 위해 기저선 및 챌린지 결과를 제시한다.

실험 결과

연구 질문

• RQ1 합성 데이터로 학습된 모델이 라벨이 없는 실제 대상 도메인에 얼마나 잘 적응할 수 있는가(이미지 분류)?
• RQ2 표준 UDA 방법(DAN, Deep CORAL 등)이 소스 전용 기준선과 비교하여 VisDA-C에서 어떤 이득을 제공하는가?
• RQ3 합성→실제 시프트에 대한 의미 분할에서 비지도 도메인 적응은 어떻게 동작하는가(GTA5에서 CityScapes, Nexar 테스트)?
• RQ4 검증 분할, 대상 라벨 부재, 사전 학습 의존성 등의 설계 선택이 교차 도메인 적응의 난이도와 결과에 어떤 영향을 주는가?
• RQ5 UDA 방법을 더 강하게 스트레스 테스트하기 위해 어떤 방향이 작업 난이도를 높일 수 있는가?

주요 결과

• VisDA-C는 12개 카테고리에 걸쳐 합성 학습 데이터와 실제 검증/테스트 데이터로 구성된 28만 장이 넘는 이미지로 이루어져 있다.
• 합성→실제로의 소스 전용 AlexNet의 평균 정확도 하락은 28.12%로 나타나 큰 도메인 시프트를 강조한다.
• DAN은 소스-전용 베이스라인 대비 검증 정확도를 51.62%로, Deep CORAL은 45.53%로 향상시켰다.
• 주요 챌린지 결과는 반지도학습 및教师-학생 전략을 사용해 테스트에서 최대 92.8%까지의 큰 이득을 보여주는 등 추가적인 큰 향상을 보인다(예: GFColourLabUEA).
• VisDA-S 의미 분할에서 GTA5에서 CityScapes로의 적응은 검증에서 평균 IoU를 21.6에서 25.5로 올렸고, Nexar 테스트 도메인에서도 경쟁력 있는 결과를 보였다.
• 본 논문은 현실적 배포 시나리오를 반영하기 위해 감독형 사전 학습(예: ImageNet)에 대한 의존성을 줄이는 것을 강조한다.