[논문 리뷰] VisDA-2021 Competition Universal Domain Adaptation to Improve Performance on Out-of-Distribution Data

Dina Bashkirova, Dan Hendrycks외 6명|arXiv (Cornell University)|2021. 07. 23.

Advanced Neural Network Applications참고 문헌 26인용 수 9

한 줄 요약

이 논문은 도메인 간 분포 차이가 존재하고 소스 및 타겟 도메인 간 카테고리 겹침이 알려져 있지 않은 데이터에 대해 일반화할 수 있는 능력을 평가하는 VisDA-2021 경쟁 대회를 소개한다. 다양한 데이터셋(ImageNet, ObjectNet, ImageNet-R, ImageNet-C, ImageNet-O)을 사용하여 통합된 벤치마크를 제안하며, 라벨이 없는 타겟 데이터를 바탕으로 신규 클래스 탐지에 대한 AUC와 인스턴스 수준 정확도를 평가하여 분포 이탈에 대한 강건성을 강조한다.

ABSTRACT

Progress in machine learning is typically measured by training and testing a model on the same distribution of data, i.e., the same domain. This over-estimates future accuracy on out-of-distribution data. The Visual Domain Adaptation (VisDA) 2021 competition tests models' ability to adapt to novel test distributions and handle distributional shift. We set up unsupervised domain adaptation challenges for image classifiers and will evaluate adaptation to novel viewpoints, backgrounds, modalities and degradation in quality. Our challenge draws on large-scale publicly available datasets but constructs the evaluation across domains, rather that the traditional in-domain bench-marking. Furthermore, we focus on the difficult "universal" setting where, in addition to input distribution drift, methods may encounter missing and/or novel classes in the target dataset. Performance will be measured using a rigorous protocol, comparing to state-of-the-art domain adaptation methods with the help of established metrics. We believe that the competition will encourage further improvement in machine learning methods' ability to handle realistic data in many deployment scenarios.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간 카테고리 겹침이 알려져 있지 않은 분포 외 데이터에 대해 기계 학습 모델의 일반화 능력을 평가하기 위해.
• 기존의 내부 도메인 평가의 한계를 해결하기 위해 실제 세계의 분포 이탈, 예를 들어 새로운 시점, 배경, 이미지 품질 저하 등을 고려하여 모델을 테스트하기 위해.
• 라벨이 없는 타겟 데이터를 바탕으로 기존 클래스와 새로운 클래스를 모두 탐지하고 분류할 수 있도록 모델의 강건성을 제고하기 위해.
• 통제된 도메인 이탈이 있는 대규모 공개 데이터셋을 사용하여 유니버설 도메인 어댑테이션을 위한 엄격한 벤치마크를 구축하기 위해.
• 다양한 종류의 분포 이탈, 예를 들어 오픈 세트 및 파트리얼 세트 어댑테이션을 포함하여 여러 유형의 분포 이탈에 일반화할 수 있는 비지도 도메인 어댑테이션 기법의 개발을 장려하기 위해.

제안 방법

• 경쟁은 소스 도메인으로 ImageNet을 사용하고, 타겟 도메인으로 ObjectNet, ImageNet-R, ImageNet-C, ImageNet-O의 혼합을 사용하여 다양한 분포 이탈을 시뮬레이션한다.
• 참가자들은 라벨이 있는 소스 데이터와 라벨이 없는 타겟 데이터를 제공받으며, 학습 또는 튜닝 중에 타겟 라벨에 접근할 수 없다.
• 이중 평가 프로토콜을 사용한다: 단계 I에서는 혼합된 타겟 도메인을 포함한 검증 세트를 사용하여 튜닝이 가능하고, 단계 II에서는 라벨이 없는 별도의 테스트 세트가 공개되어 최종 제출을 위한 평가가 이루어진다.
• 모델은 각 입력에 대해 예측된 클래스 레이블과 스칼라 형태의 신규성 점수(novelty score)를 동시에 출력해야 하며, 이는 알려지지 않은 클래스에 대한 AUC 계산을 가능하게 한다.
• 평가에는 두 가지 지표를 사용한다: 기존 클래스에 대한 인스턴스 수준 정확도와 분포 외(신규) 클래스 탐지에 대한 AUC.
• 데이터 링크, 베이스라인 코드, 제출 지침, 지표 구현이 포함된 개발 키트를 제공하여 평가의 표준화를 도모한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 어댑테이션 모델은 카테고리 겹침이 알려져 있지 않은 타겟 도메인, 즉 누락된 클래스와 새로운 클래스를 포함하여 얼마나 잘 일반화할 수 있는가?
• RQ2 사전 노출 없이도 신뢰도 또는 신규성 점수를 사용하여 분포 외 샘플(신규 클래스)을 얼마나 잘 탐지할 수 있는가?
• RQ3 유니버설 도메인 어댑테이션 환경에서 기존 클래스에 대해 높은 정확도를 달성하면서 동시에 새로운 클래스를 식별하고 거부할 수 있는가?
• RQ4 다양한 종류의 데이터 손상과 도메인 이탈을 포함하는 현실적인 복잡한 분포 이탈 상황에서 기존의 도메인 어댑테이션 기법은 얼마나 효과적인가?
• RQ5 타겟 도메인 라벨에 접근할 수 없는 상황에서 하이퍼파라미터 튜닝을 할 경우 현재 방법의 한계는 무엇인가?

주요 결과

• VisDA-2021 경쟁은 새로운 유니버설 도메인 어댑테이션 벤치마크를 확립하였으며, 신규 클래스, 손상된 이미지, 도메인 이탈을 포함한 다양한 종류의 분포 이탈을 통합하였다.
• 기존 클래스에 대한 인스턴스 수준 정확도와 신규 클래스 탐지에 대한 AUC를 사용하여 일반화 능력과 강건성에 대한 종합적인 평가가 가능하다.
• 타겟 라벨에 대한 튜닝을 금지함으로써 테스트 세트에 대한 과적합을 방지하여 일반화 능력에 대한 공정한 평가를 보장한다.
• 개발 세트와 테스트 세트는 서로 다른 혼합 비율을 가진 공개된 데이터셋에서 구성되어 있어 데이터 기억을 통한 과적합을 방지한다.
• 모델이 인간이 라벨링한 타겟 데이터 없이도 알려지지 않은 데이터 분포에 적응해야 하는 실제 운영 환경을 강조한다.