[논문 리뷰] Syn2Real: A New Benchmark forSynthetic-to-Real Visual Domain Adaptation

Xingchao Peng, Ben Usman외 4명|arXiv (Cornell University)|2018. 06. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 49

한 줄 요약

본 논문은 Syn2Real 벤치마크를 제시하여 폐집합 분류, 개방집합 분류, 객체 탐지에 걸친 비지도 합성물-실제 도메인 적응을 다루며, 성능 간 큰 격차를 보여주고 도전적인 다중 작업 평가 설정을 제안한다.

ABSTRACT

Unsupervised transfer of object recognition models from synthetic to real data is an important problem with many potential applications. The challenge is how to "adapt" a model trained on simulated images so that it performs well on real-world data without any additional supervision. Unfortunately, current benchmarks for this problem are limited in size and task diversity. In this paper, we present a new large-scale benchmark called Syn2Real, which consists of a synthetic domain rendered from 3D object models and two real-image domains containing the same object categories. We define three related tasks on this benchmark: closed-set object classification, open-set object classification, and object detection. Our evaluation of multiple state-of-the-art methods reveals a large gap in adaptation performance between the easier closed-set classification task and the more difficult open-set and detection tasks. We conclude that developing adaptation methods that work well across all three tasks presents a significant future challenge for syn2real domain transfer.

연구 동기 및 목표

• 강건한 객체 인식을 위한 합성 이미지에서 실제 이미지로의 비지도 전이를 촉진한다.
• 고정된 합성 소스와 두 개의 실제 타깃 도메인을 갖는 대규모 다중 작업 벤치마크(분류 및 탐지)를 제공한다.
• 다양한 작업에서 최첨단 UDA 방법을 비교하고, 서로 다른 설정에서 적응이 성공하거나 실패하는 이유를 분석한다.
• 합성-실제 도메인 전송의 진전을 촉진하기 위해 오픈 소스 데이터, 코드 및 3D 모델을 제공한다.

제안 방법

• 12개 객체 카테고리에 대해 3D CAD 모델로부터 합성 소스 도메인을 만든다.
• 검증용으로 MS COCO cropped images와 테스트용으로 YouTube Bounding Boxes 두 개의 실제 타깃 도메인을 구성한다.
• 비지도 도메인 적응 하에 세 가지 작업(Syn2Real-C closed-set classification, Syn2Real-O open-set classification, Syn2Real-D detection)을 정의한다.
• 기준선(DAN, Deep CORAL)과 선두 챌런지 솔루션(Self-Ensembling SE)을 평가한다.
• 적응에 영향을 미치는 요인들(합성 데이터 규모, 대상 이미지 크기, 합성 배경, 사전 학습)을 분석한다.
• 공개 데이터세트, 벤치마크, 오픈 소스 렌더링 파이프라인 및 3D 모델을 제공한다.

실험 결과

연구 질문

• RQ1 기존의 비지도 도메인 적응 방법들이 합성 소스에서 실제 타깃으로의 전이에서 분류 및 탐지 작업 전반에 얼마나 잘 작동하는가?
• RQ2 합성-실제 전이에서 폐집합, 개방집합, 탐지 간의 상대적 난이도와 격차는 무엇인가?
• RQ3 데이터 양, 이미지 해상도, 배경 리얼리즘과 같은 요인들이 적응 성능에 어떤 영향을 미치는가?

주요 결과

• UDA 방법은 소스-전용 성능을 넘어 개선되며, 예를 들어 Deep CORAL과 DAN은 Syn2Real-C에서 검증 정확도를 각각 28.1%에서 45.5% 및 51.6%로 올린다.
• 개방집합 및 탐지 작업은 폐집합 분류보다 여전히 훨씬 더 도전적이며, 도메인 내 또는 오라클 성능과의 차이가 더 크다.
• SE(Self-Ensembling) 방법이 최상위 챌런지 결과를 달성하여 성능을 크게 향상시켰다(예: Syn2Real-C의 소스 모델에서 45.3%에서 91.8%로 증가).
• ImageNet으로의 프리트레이닝은 적응을 크게 향상시키는 반면, 충분한 합성 데이터가 없으면 처음부터 학습(SE*)은 성능이 좋지 않다.
• 탐지 작업은 분류에 작동하는 적응 방법이 엔드-투-엔드 탐지기에 직접 전이되지 않음을 보여주며, 새로운 접근 방식의 필요성을 시사한다.