[논문 리뷰] SIGMA: Semantic-complete Graph Matching for Domain Adaptive Object Detection

Wuyang Li, Xinyu Liu외 1명|arXiv (Cornell University)|2022. 03. 12.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

SIGMA는 도메인 적응형 객체 검출을 위한 의미적 완전한 그래프 매칭 프레임워크를 제안하며, 클래스 내 분산과 도메인 불일치하는 의미를 보완하기 위해 부족한 카테고리의 환상적 그래프 노드를 생성하고, 적응을 이원 그래프 매칭 문제로 재구성한다. 그래프 유도 의미 보완과 구조 인식 노드 매칭을 통해 이차 할당 손실을 사용하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain Adaptive Object Detection (DAOD) leverages a labeled domain to learn an object detector generalizing to a novel domain free of annotations. Recent advances align class-conditional distributions by narrowing down cross-domain prototypes (class centers). Though great success,they ignore the significant within-class variance and the domain-mismatched semantics within the training batch, leading to a sub-optimal adaptation. To overcome these challenges, we propose a novel SemantIc-complete Graph MAtching (SIGMA) framework for DAOD, which completes mismatched semantics and reformulates the adaptation with graph matching. Specifically, we design a Graph-embedded Semantic Completion module (GSC) that completes mismatched semantics through generating hallucination graph nodes in missing categories. Then, we establish cross-image graphs to model class-conditional distributions and learn a graph-guided memory bank for better semantic completion in turn. After representing the source and target data as graphs, we reformulate the adaptation as a graph matching problem, i.e., finding well-matched node pairs across graphs to reduce the domain gap, which is solved with a novel Bipartite Graph Matching adaptor (BGM). In a nutshell, we utilize graph nodes to establish semantic-aware node affinity and leverage graph edges as quadratic constraints in a structure-aware matching loss, achieving fine-grained adaptation with a node-to-node graph matching. Extensive experiments verify that SIGMA outperforms existing works significantly. Our code is available at https://github.com/CityU-AIM-Group/SIGMA.

연구 동기 및 목표

• 수작업으로 만든 클래스 중심에 의존하는 기존 도메인 적응형 객체 검출 방법의 한계를 해결하고, 클래스 내 분산을 忽시하는 것.
• 한 도메인에서만 나타나는 카테고리가 포함된 훈련 배치에서 발생하는 도메인 불일치 의미 문제를 극복하기.
• 소스 및 타겟 도메인 간의 세밀하고 구조 인식 가능한 정렬을 가능하게 하기 위해 도메인 적응을 그래프 매칭 문제로 재구성하기.
• 가짜 그래프 노드를 사용한 환상적 의미 보완 기법을 개발하여 타겟 도메인의 부족한 의미 지식을 복원하기.
• 단순화된 프로토타입이 아닌 그래프를 통해 클래스 조건부 분포를 모델링하여 더 나은 일반화 달성하기.

제안 방법

• 도메인 수준 통계를 사용하여 부족한 카테고리에서 환상적 그래프 노드를 생성하는 그래프 임bedded 의미 보완(GSC) 모듈 도입.
• 특징을 그래프 노드로 변환하기 위한 시각-그래프(V2G) 변환 수행 후, 의미적 완전한 노드 표현을 위한 심층 그래프 클러스터링(DNC) 수행.
• 소스 및 타겟 도메인 모두에 대해 교차 이미지 그래프를 구성하여 그래프 컬러네이션 네트워크(GCNs)를 사용해 클래스 조건부 분포 모델링.
• 반복적 개선을 통해 의미 보완 능력을 향상시키기 위한 그래프 유도 메모리 백 업적 학습.
• 노드 유사도와 간선 구조를 제약 조건으로 사용하여 이차 할당 문제를 해결하는 이원 그래프 매칭(BGM) 어댑터 제안.
• 노드 유사도와 간선 일관성을 결합한 구조 인식 매칭 손실을 제안하며, Sinkhorn 정규화와 미분 가능한 할당 레이어를 통해 최적화.

Figure 1 : Illustration of the proposed SemantIc-complete Graph MAtching (SIGMA) framework for DAOD.

실험 결과

연구 질문

• RQ1 프로토타입 기반 정렬을 초월하여 클래스 조건부 분포의 그래프 기반 모델링이 도메인 적응에 기여하는가?
• RQ2 훈련 중 타겟 도메인에서 부족한 의미 카테고리를 효과적으로 보완할 수 있는가, 이를 통해 도메인 갭을 줄일 수 있는가?
• RQ3 소스 및 타겟 그래프 간의 세밀한 노드-노드 매칭이 전역 또는 카테고리 수준의 특징 정렬보다 우월한가?
• RQ4 그래프 매칭에 간선 구조 제약 조건을 통합할 경우 적응의 강건성과 정확도가 얼마나 향상되는가?
• RQ5 환상적 노드를 통한 의미 보완이 소스 전용 감독으로 인한 편향을 줄이고, 미관측 도메인으로의 일반화를 향상시키는가?

주요 결과

• SIGMA는 Cityscapes → Foggy Cityscapes 및 COCO → Cityscapes를 포함한 여러 도메인 적응 벤치마크에서 최신 기술 수준의 성능 달성.
• EPM와 같은 클래스 무관 기반 방법에 비해 거짓 음성 및 거짓 양성 검출 오류가 크게 감소.
• 그래프 유도 메모리 백은 특히 카테고리 불균형이 심한 상황에서 의미 보완 능력을 향상시킴.
• 간선 제약 조건을 포함한 구조 인식 매칭 손실은 이중 스 tochastic 유사도 행렬에서 시각화된 바와 같이 더 정확한 노드 쌍 매칭을 이끌어냄.
• 워밍업 없이도 엔드 투 엔드 훈련이 웜업 전략과 유사한 성능을 달성하여 훈련의 안정성과 효율성 입증.
• 제거 실험을 통해 의미 보완 및 그래프 매칭 구성 요소가 모두 필수적임을 확인하였으며, 전체 SIGMA 프레임워크가 제거된 변형보다 뛰어난 성능을 보임.

Figure 2 : Overview of the proposed SIGMA framework for DAOD. V2G represents vision-to-graph transformation.