[논문 리뷰] Exploring Object Relation in Mean Teacher for Cross-Domain Detection

Qi Cai, Yingwei Pan외 4명|arXiv (Cornell University)|2019. 04. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 30

한 줄 요약

이 논문은 객체 관계를 일致성 정규화에 통합한 새로운 Mean Teacher 프레임워크인 MTOR를 제안한다. 교사 및 학생 네트워크 간 영역 수준, 상호 그래프, 내부 그래프 일치를 강제하여 MTOR는 싱크로니제이션-리얼 검출 벤치마크에서 22.8% mAP의 최신 기록을 수립한 상태의 기준 성능을 달성한다.

ABSTRACT

Rendering synthetic data (e.g., 3D CAD-rendered images) to generate annotations for learning deep models in vision tasks has attracted increasing attention in recent years. However, simply applying the models learnt on synthetic images may lead to high generalization error on real images due to domain shift. To address this issue, recent progress in cross-domain recognition has featured the Mean Teacher, which directly simulates unsupervised domain adaptation as semi-supervised learning. The domain gap is thus naturally bridged with consistency regularization in a teacher-student scheme. In this work, we advance this Mean Teacher paradigm to be applicable for cross-domain detection. Specifically, we present Mean Teacher with Object Relations (MTOR) that novelly remolds Mean Teacher under the backbone of Faster R-CNN by integrating the object relations into the measure of consistency cost between teacher and student modules. Technically, MTOR firstly learns relational graphs that capture similarities between pairs of regions for teacher and student respectively. The whole architecture is then optimized with three consistency regularizations: 1) region-level consistency to align the region-level predictions between teacher and student, 2) inter-graph consistency for matching the graph structures between teacher and student, and 3) intra-graph consistency to enhance the similarity between regions of same class within the graph of student. Extensive experiments are conducted on the transfers across Cityscapes, Foggy Cityscapes, and SIM10k, and superior results are reported when comparing to state-of-the-art approaches. More remarkably, we obtain a new record of single model: 22.8% of mAP on Syn2Real detection dataset.

연구 동기 및 목표

• 합성 데이터로 훈련된 모델이 실사 이미지에서 성능이 떨어지는 합성-실사 객체 검출에서의 도메인 시프트 문제를 해결하기 위해.
• 원래 준지도 학습을 위한 것이었던 Mean Teacher 프레임워크를 객체 관계의 구조적 특성을 통합함으로써 교차 도메인 검출에 확장하기 위해.
• 영역 수준뿐만 아니라 객체 제안의 관계적 그래프 구조를 통한 일치를 강제하여 도메인 일반화를 향상시키기 위해.
• 동일 클래스 내 영역 간 유사성 일치를 통해 학생 모델의 그래프 내에서의 특징 분류 능력을 향상시켜 목표 도메인 검출에서의 잘못된 국소화와 거짓 양성 결과를 줄이기 위해.

제안 방법

• MTOR는 영역 특징 간 코사인 유사도를 사용하여 교사 및 학생 모델에 대해 별도의 관계적 그래프를 구성하여 객체 간 상호 관계를 포착한다.
• 교사 및 학생 간 대응하는 영역 제안에 대한 검출 예측(분류 및 바운딩 박스 회귀)을 정렬함으로써 영역 수준의 일치를 강제한다.
• 교사 및 학생 간의 관계적 그래프의 구조적 유사성을 매칭시켜 상호 그래프 일치를 적용함으로써 입력의 변형에 대한 강건성을 향상시킨다.
• 학생의 그래프 내에서 동일 클래스의 영역 간 유사성을 강화함으로써 내부 그래프 일치를 통해 클래스 내 변동성을 줄이고 특징의 분류 능력을 향상시킨다.
• 하이퍼파ram터 λ와 α로 제어되는 가중치 조합을 사용하여 영역 수준, 상호 그래프, 내부 그래프의 세 가지 일치 손실을 종합적으로 최적화하여 엔드 투 엔드로 프레임워크를 최적화한다.
• 표준 mAP 메트릭을 사용하여 Cityscapes, Foggy Cityscapes, SIM10k 간의 교차 도메인 전이에 대해 평가한다.

실험 결과

연구 질문

• RQ1 Mean Teacher 프레임워크에 객체 관계를 통합함으로써 교차 도메인 객체 검출에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 관계적 그래프 구조(상호 그래프)에 대한 일치를 강제함으로써 도메인 시프트에 대한 강건성은 어떻게 향상되는가?
• RQ3 내부 그래프 일치가 클래스 내 변동성을 얼마나 줄이고 검출 정확도를 향상시키는가?
• RQ4 영역 수준과 그래프 기반 일치의 조합이 기존의 도메인 적응 방법보다 합성-실사 검출에서 더 우수한 성능을 내는가?

주요 결과

• MTOR는 싱크로니제이션-리얼 검출 벤치마크에서 기존의 어떤 방법보다 뛰어난 성능을 보이며, 단일 모델 기준으로 22.8% mAP의 새로운 최고 기록을 수립했다.
• Cityscapes → Foggy Cityscapes 전이에서 MTOR는 22.8% mAP를 달성하여 도메인 시프트 하에서 뛰어난 일반화 능력을 입증했다.
• 제거 분석 결과 상호 그래프 및 내부 그래프 일치 모두 검출 정확도 향상에 기여하며, λ = 1.0 및 α ≈ 0.98에서 최고 성능를 기록했다.
• 정성적 결과는 MTOR가 이전에 누락된 객체들(예: 사람)을 탐지할 수 있음을 보여주며, Source-only 및 DA 기준 모델이 놓친 객체들을 성공적으로 탐지한다.
• 오류 분석 결과 MTOR는 DA 대비 잘못 국소화된 객체와 배경 거짓 양성 결과를 줄였으며, IoU ≥ 0.5 인 정확한 검출 비율이 더 높았다.
• 관계적 그래프의 시각화 결과 MTOR가 Source-only 및 DA보다 더 분류 능력이 뛰어난 동일 클래스 유사성을 학습하고 있음을 확인하였으며, 내부 그래프 일치의 효과성을 입증한다.