[논문 리뷰] Synergizing between Self-Training and Adversarial Learning for Domain Adaptive Object Detection

Muhammad Akhtar Munir, Muhammad Haris Khan외 2명|arXiv (Cornell University)|2021. 10. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 7

한 줄 요약

이 논문은 도메인 적응 객체 검출을 위한 불확실성 유도 프레임워크를 제안하며, 자기 학습과 적대적 학습을 상호보완적으로 통합한다. 분류 및 위치 예측에서 예측 불확실성을 추정하기 위해 몬테 카를로 드롭아웃을 활용함으로써, 낮은 불확실성의 검출 결과를 자기지도 학습을 위한 흐름으로 사용하고, 높은 불확실성 영역을 적대적 특징 정렬을 위한 틀로 활용한다. 이로 인해 다양한 도메인 이동 시나리오에서 기존 최고 성능를 크게 뛰어넘는 성능을 달성한다.

ABSTRACT

We study adapting trained object detectors to unseen domains manifesting significant variations of object appearance, viewpoints and backgrounds. Most current methods align domains by either using image or instance-level feature alignment in an adversarial fashion. This often suffers due to the presence of unwanted background and as such lacks class-specific alignment. A common remedy to promote class-level alignment is to use high confidence predictions on the unlabelled domain as pseudo labels. These high confidence predictions are often fallacious since the model is poorly calibrated under domain shift. In this paper, we propose to leverage model predictive uncertainty to strike the right balance between adversarial feature alignment and class-level alignment. Specifically, we measure predictive uncertainty on class assignments and the bounding box predictions. Model predictions with low uncertainty are used to generate pseudo-labels for self-supervision, whereas the ones with higher uncertainty are used to generate tiles for an adversarial feature alignment stage. This synergy between tiling around the uncertain object regions and generating pseudo-labels from highly certain object regions allows us to capture both the image and instance level context during the model adaptation stage. We perform extensive experiments covering various domain shift scenarios. Our approach improves upon existing state-of-the-art methods with visible margins.

연구 동기 및 목표

• 원천 도메인에서 학습된 모델이 외관, 시점, 배경이 변화하는 타겟 도메인으로 일반화하지 못하는 도메인 이동 문제를 해결하기 위해.
• 신뢰도 기반 허위 레이블링이나 이미지 수준의 적대적 정렬에 의존하는 기존 방법의 한계를 해결하기 위해, 이는 낮은 校정성과 클래스별로 특화된 정렬이 부족하기 때문이다.
• 신뢰성 있는 불확실성 추정을 통해 자기 학습과 적대적 학습의 균형을 맞춤으로써 모델 일반화 능력을 향상시키고, 신뢰할 수 없는 허위 레이블의 노이즈를 줄이며 특징의 분류 가능성을 향상시키기 위해.
• 계산적으로 경량인 단일 스테이지 앵커리스 검출기와 호환되는 단순하고 일반적이며 효율적인 프레임워크를 개발하여, 복잡한 아키텍처 없이도 효과적인 적응을 가능하게 하기 위해.

제안 방법

• 몬테 카를로 드롭아웃을 사용해 다중 순방향 전파 동안의 분산을 측정함으로써 객체 검출에서의 예측 불확실성을 추정하며, 분류 신뢰도와 바운딩 박스 위치 예측을 모두 고려한다.
• 낮은 불확실성을 가진 검출 결과를 고품질의 허위 레이블로 사용하여, 레이블이 없는 타겟 도메인에서 신뢰할 수 있는 자기지도 학습을 가능하게 한다.
• 높은 불확실성을 가진 검출 결과 중심의 이미지 틀을 추출하여 적대적 특징 정렬의 입력으로 활용함으로써, 인스턴스 수준의 맥락을 유지하고 강력한 도메인 정렬을 촉진한다.
• 불확실성 유도 허위 레이블링(UGPL)과 불확실성 유도 틀링(UGT)을 두 번의 반복 개선 과정에 통합: R0는 初기 적응을 위한 것이고, R1/R2는 불확실성 인식 선택을 통한 반복적 개선을 위한 것이다.
• 도메인 구분자를 적용하여 타겟 도메인의 틀에서 유래한 특징을 원천 도메인의 특징과 정렬함으로써 도메인 간 격차를 최소화하면서도 클래스별로 특화된 분류 기능을 유지한다.
• 계산 효율성이 높은 단일 스테이지 앵커리스 검출기(예: YOLO 기반)를 백본으로 사용하여 다양한 적응 시나리오에서 실용성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 예측 불확실성을 효과적으로 추정함으로써 자기 학습과 적대적 적응을 유도할 수 있는가?
• RQ2 높은 신뢰도의 검출 결과를 허위 레이블링에, 높은 불확실성의 검출 결과를 적대적 틀링에 별도로 활용하는 것이 신뢰도 기반 선택보다 도메인 적응 성능을 향상시키는가?
• RQ3 자기 학습과 적대적 학습을 불확실성 기반으로 균형 잡는 것이 도메인 이동 상황에서의 모델 캘리브레이션 오류의 부정적 영향을 어느 정도 줄일 수 있는가?
• RQ4 인스턴스 수준의 맥락(틀링을 통한)과 클래스 수준의 지도 학습(허위 레이블링을 통한)의 상호보완적 작용이 특징의 분류 가능성과 도메인 간 일반화에 더 나은 영향을 미치는가?

주요 결과

• 제안된 불확실성 유도 방법은 Cityscapes, Foggy Cityscapes, KITTI 등 여러 도메인 적응 벤치마크에서 최고 성능을 달성하였으며, Sim10K → Cityscapes에서 AP@0.5가 51.8%를 기록했다.
• 불확실성 유도 허위 레이블링(UGPL)과 불확실성 유도 틀링(UGT)을 결합한 전략이 가장 높은 성능을 보였으며, 개별 구성 요소보다 최대 3.4%의 AP@0.5 향상을 달성했다.
• UGT 전략은 불확실성 높은 검출 주변의 틀을 선택함으로써, 전체 이미지, 무작위, 확실한 틀 기반 베이스라인과 비교해 가장 큰 성능 향상을 보였다.
• R0 라운드(초기 적응)가 기여도가 크지만, 불확실성 인식 개선을 통한 R1 및 R2 라운드를 추가로 거치면서 추가적인 성능 향상이 이루어져 반복적 불확실성 기반 선택의 유용성을 입증했다.
• 신뢰도 기반 선택 대비 허위 레이블링의 노이즈를 줄였으며, 이는 선택된 허위 레이블의 평균 정확도가 높고, 놓친 인스턴스에서의 검출 재현율이 향상된 것으로 확인되었다.
• 다시 말해, 성능 향상에도 불구하고 소형 객체 처리에 여전히 어려움을 겪고 있어 향후 연구에서 불확실성과 객체 크기 간의 상호작용을 다룰 필요가 있다.