[논문 리뷰] One-Shot Unsupervised Cross-Domain Detection

Antonio D’Innocente, Francesco Cappio Borlino외 3명|arXiv (Cornell University)|2020. 05. 23.

Advanced Neural Network Applications참고 문헌 53인용 수 5

한 줄 요약

이 논문은 테스트 시점에 단일 레이블이 없는 이미지만을 사용하여 새로운 타겟 도메인에 적응하는 새로운 one-shot 비지도 교차도메인 객체 검출 프레임워크인 OSHOT을 제안한다. 의사 레이블링된 객체 영역에서 자기지도 회전 예측과 교차 작업 의사 레이블링을 통한 다중 작업 아키텍처를 활용함으로써, OSHOT은 여러 벤치마크에서 최신 기술 수준의 성능을 달성하여, one-shot 적응 시나리오에서 기존 방법보다 최대 5.9 mAP 포인트 높은 성능을 보였다.

ABSTRACT

Despite impressive progress in object detection over the last years, it is still an open challenge to reliably detect objects across visual domains. Although the topic has attracted attention recently, current approaches all rely on the ability to access a sizable amount of target data for use at training time. This is a heavy assumption, as often it is not possible to anticipate the domain where a detector will be used, nor to access it in advance for data acquisition. Consider for instance the task of monitoring image feeds from social media: as every image is created and uploaded by a different user it belongs to a different target domain that is impossible to foresee during training. This paper addresses this setting, presenting an object detection algorithm able to perform unsupervised adaption across domains by using only one target sample, seen at test time. We achieve this by introducing a multi-task architecture that one-shot adapts to any incoming sample by iteratively solving a self-supervised task on it. We further enhance this auxiliary adaptation with cross-task pseudo-labeling. A thorough benchmark analysis against the most recent cross-domain detection methods and a detailed ablation study show the advantage of our method, which sets the state-of-the-art in the defined one-shot scenario.

연구 동기 및 목표

• 실시간으로 변화하는 환경(예: 소셜 미디어 피드)에서 새로운 시각적 도메인에 객체 검출기를 효과적으로 적응시키는 도전 과제를 해결하기 위해.
• 기존의 교차도메인 검출 방법이 적응을 위해 타겟 도메인 데이터를 대량으로 필요로 하는 한계를 극복하기 위해.
• 타겟 데이터가 부족하거나 예측 불가능한 상황에서도 적용 가능한, 단일 타겟 이미지로부터의 비지도 도메인 적응이 가능한 프레임워크를 제안하기 위해.
• 자기지도 사전 과제와 객체 검출을 통합한 다중 작업 학습 아키텍처를 설계하여 도메인 간 특징 일반화를 향상시키기 위해.
• 최소한의 지도 정보로도 도메인 갭을 줄이기 위해 교차 작업 의사 레이블링과 반복적 자기지도 학습의 효과를 검증하기 위해.

제안 방법

• 동일한 특징 맵에서 객체 검출과 자기지도 회전 예측 과제를 동시에 최적화하는 다중 작업 딥 러닝 아키텍처를 사용한다.
• 초기 검출기 추론에서 유도된 의사 레이블을 활용해 객체 영역를 추출하고, 이를 회전 예측 과제의 입력으로 사용함으로써 자기지도 학습을 의미 있는 콘텐츠에 집중시킨다.
• 테스트 시점 적응 중에 자기지도 과제를 반복적으로 적용하며, 단일 타겟 이미지에 대해 다수의 최적화 단계를 거쳐 네트워크를 피지컬 튜닝한다.
• 교차 작업 의사 레이블링을 통해 회전 과제가 객체 수준의 특징에 국한되도록 하여 워터마크나 배경 무늬와 같은 혼란스러운 패tern을 피한다.
• 단일 타겟 이미지를 사용하여 네트워크 가중치를 반복적으로 업데이트함으로써 소스 도메인과 타겟 도메인 간의 도메인 갭을 점차 줄이는 반복적 적응을 수행한다.
• 프레임워크는 엔드 투 엔드로 훈련되며, 적응 과정에서 전체 소스 훈련 세트에 접근할 필요가 없어, 효율적인 one-shot 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 테스트 시점에 단일 레이블이 없는 이미지만을 사용하여 딥 객체 검출기가 새로운 시각적 도메인에 효과적으로 적응할 수 있는가?
• RQ2 전체 이미지에 대한 자기지도 학습 대비 객체 특화 영역에서의 자기지도 학습이 도메인 갭을 얼마나 줄이는가?
• RQ3 one-shot 교차도메인 객체 검출에서 안정적인 성능을 달성하기 위해 최적의 반복적 적응 단계 수는 얼마인가?
• RQ4 교차 작업 의사 레이블링이 전체 이미지가 아닌 의미 있는 영역에 자기지도 학습을 집중시킴으로써 특징 학습을 향상시키는가?
• RQ5 기존의 비지도 도메인 적응 및 one-shot 학습 방법과 비교할 때, 제안된 방법은 one-shot, 교차도메인 설정에서 어떻게 성능을 내는가?

주요 결과

• OSHOT은 Clipart100 벤치마크에서 mAP 30.7을 달성하여 베이스라인 Faster R-CNN보다 2.8 포인트, BiOST보다도 2.8 포인트 높은 성능을 보였다.
• 새로운 소셜 미디어 기반의 Social Bikes 데이터셋에서는 OSHOT이 강력한 성능을 유지하는 반면, BiOST는 부정적 전이 현상을 보이며 현실 세계의 동적인 도메인에서의 한계를 드러냈다.
• 자기지도 회전 예측에 의사 레이블링된 바운딩 박스를 사용할 경우, 다양한 도메인 전이 설정에서 mAP가 2.9에서 5.9 포인트까지 향상되었으며, 국소화된 자기지도 학습의 효과를 입증했다.
• 성능이 약 30개의 적응 반복 후에 안정화됨을 확인하여, 이 이상의 반복은 추가로 성능 향상을 가져오지 않는 것으로 나타났다.
• 제거 실험을 통해 전체 이미지가 아닌 객체 영역에 자기지도 학습을 집중시키는 것이 더 견고하고 일반화 능력이 뛰어난 특징을 생성함을 확인하여, 부정확한 패턴에 의존하는 것을 줄였다.
• OSHOT은 one-shot 비지도 교차도메인 객체 검출 분야에서 새로운 최신 기술 수준을 수립하였으며, 이전 방법들에 비해 훨씬 뛰어난 일반화 능력과 견고성을 입증했다.