[논문 리뷰] Cross-View Regularization for Domain Adaptive Panoptic Segmentation

Jiaxing Huang, Dayan Guan외 2명|arXiv (Cornell University)|2021. 03. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 67인용 수 12

한 줄 요약

이 논문은 인스턴스 세분화와 의미 세분화 간의 상호작용 정규화(Inter-task Regularization, ITR)와 온라인 이미지 스타일화를 통한 상호스타일 정규화(Inter-style Regularization, ISR)를 활용하여 도메인 간 특징 정렬을 향상시키는 새로운 도메인 적응형 패노픽 세분화 프레임워크인 크로스뷰 정규화 네트워크(Cross-View Regularization Network, CVRN)를 제안한다. 이는 합성 데이터에서 실세계 데이터로, 그리고 실세계에서 실세계로의 도메인 적응 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 다양한 UDA 방법에서 mPQ 성능 향상이 3.3점 초과를 기록한다.

ABSTRACT

Panoptic segmentation unifies semantic segmentation and instance segmentation which has been attracting increasing attention in recent years. However, most existing research was conducted under a supervised learning setup whereas unsupervised domain adaptive panoptic segmentation which is critical in different tasks and applications is largely neglected. We design a domain adaptive panoptic segmentation network that exploits inter-style consistency and inter-task regularization for optimal domain adaptive panoptic segmentation. The inter-style consistency leverages geometric invariance across the same image of the different styles which fabricates certain self-supervisions to guide the network to learn domain-invariant features. The inter-task regularization exploits the complementary nature of instance segmentation and semantic segmentation and uses it as a constraint for better feature alignment across domains. Extensive experiments over multiple domain adaptive panoptic segmentation tasks (e.g., synthetic-to-real and real-to-real) show that our proposed network achieves superior segmentation performance as compared with the state-of-the-art.

연구 동기 및 목표

• 의미 세분화와 인스턴스 세분화를 통합하는 패노픽 세분화에서의 비지도 도메인 적응의 부족을 해결한다.
• 의미 세분화와 인스턴스 세분화를 별도로 학습할 경우 발생하는 열악한 성능을 극복하기 위해 이들의 상호보완적 특성을 활용한다.
• 타겟 도메인의 애너테이션에 의존하지 않고도 소스(예: 합성) 도메인과 타겟(예: 실세계) 도메인 간의 도메인 이동 문제를 완화한다.
• 동일한 이미지의 다양한 스타일 변형된 시각 간 기하학적 일관성을 활용한 자기지도 정규화 메커니즘을 개발한다.
• 합성에서 실세계로, 실세계에서 실세계로의 다양한 도메인 전이 작업에 효과적으로 적용 가능한 방법을 제공한다.

제안 방법

• 의미 세분화는 'stuff' 영역을 안내하고, 인스턴스 세분화는 'things' 예측을 향상시키는 등 두 세분화의 상호보완적 강점을 활용하여, 인스턴스 세분화와 의미 세분화의 의사 레이블을 공동 정규화하는 상호작용 정규화기(ITR)를 제안한다.
• 동일한 이미지의 다수의 스타일 변형된 버전을 서로 다른 시각으로 간주하여 기하학적 일관성을 강제함으로써 도메인 불변 특징을 학습하는 상호스타일 정규화기(ISR)를 설계한다.
• 단일 입력 이미지의 다양한 스타일 변형을 온라인 이미지 스타일화를 통해 생성하여, 다중 시각 자기지도 학습 감독을 가능하게 한다.
• 자기지도 학습과 일관성 정규화를 사용하여, 타겟 도메인의 쌍이 없는 이미지에서 ITR와 ISR를 통해 개선된 의사 레이블을 활용해 패노픽 세분화 모델을 훈련한다.
• 훈련 중에 상호작용 정규화와 상호스타일 정규화 간의 일관성을 동시에 최적화할 수 있도록, 크로스뷰 정규화기를 통합한 유일한 프레임워크를 구성한다.
• SYNTHIA→Cityscapes와 같은 다양한 도메인 적응 작업에 이 방법을 적용하며, 아블레이션 및 아블레이션 스터디를 통해 각 구성 요소의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 의미 세분화와 인스턴스 세분화 간의 상호작용 정규화가 이들의 상호보완적 특성을 활용하여 도메인 적응 패노픽 세분화 성능을 향상시킬 수 있는가?
• RQ2 동일한 이미지의 다수의 스타일 변형된 시각 간 기하학적 일관성을 강제하면 특징 정렬과 도메인 일반화 성능이 향상되는가?
• RQ3 제안된 크로스뷰 정규화 프레임워크는 기존의 비지도 도메인 적응 기법과 효과적으로 통합되어 성능을 추가로 향상시킬 수 있는가?
• RQ4 제안된 방법은 다양한 패노픽 세분화 아키텍처와 도메인 이동 시나리오에 대해 얼마나 강건한가?
• RQ5 제안된 방법은 합성에서 실세계로, 실세계에서 실세계로의 도메인 적응 벤치마크에서 최신 기술 수준 기법들을 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• CVRN은 SYNTHIA→Cityscapes 도메인 적응 벤치마크에서 최신 기술 수준 성능을 달성하며, 모든 지표에서 기존 방법들을 능가한다.
• FDA, AdvEnt, CRST와 같은 세 가지 다른 UDA 기반 모델에 통합했을 때, mPQ 성능이 3.3점 이상 향상된다.
• PFPN 아키텍처에서 CVRN은 31.4 mPQ를 기록하며, 기반 모델인 MTST 대비 4.6점 향상되고, Source-only 대비 9.9점 향상된다.
• UPSNet 아키텍처에서 CVRN은 34.0 mPQ를 기록하며, MTST 대비 6.5점 향상되고, Source-only 대비 10.7점 향상된다.
• 아블레이션 스터디 결과, ITR와 ISR 모두 성능 향상에 기여하며, ITR는 'things' 영역에서 더 큰 기여를 하고, ISR는 'stuff' 영역에서 더 큰 기여를 한다.
• 이 방법은 기존의 UDA 기법과 매우 보완적이며, 적대적 학습, 이미지 번역, 자기지도 학습을 포함한 다양한 적응 전략에서 일관되게 성능 향상을 이룬다.