[논문 리뷰] Unsupervised Domain Adaptation for Video Semantic Segmentation

Inkyu Shin, Kwanyong Park외 2명|arXiv (Cornell University)|2021. 07. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 4

한 줄 요약

이 논문은 비디오 세분화를 위한 새로운 이중 단계 비지도 도메인 적응 프레임워크를 제안하며, 비디오 적대적 훈련(VAT)과 시간적 특징 정렬, 비디오 자기 훈련(VST)과 플로우 유도 허위 레이블 정밀 조정을 결합한다. 이는 스펙트로-시간적 맥락을 활용하여 VIPER에서 Cityscapes-VPS 벤치마크에서 최신 기술 수준의 성능을 달성하며, 모든 이전의 이미지 기반 UDA 방법보다 mIoU 및 VPQ 지표에서 뛰어난 성능을 보인다.

ABSTRACT

Unsupervised Domain Adaptation for semantic segmentation has gained immense popularity since it can transfer knowledge from simulation to real (Sim2Real) by largely cutting out the laborious per pixel labeling efforts at real. In this work, we present a new video extension of this task, namely Unsupervised Domain Adaptation for Video Semantic Segmentation. As it became easy to obtain large-scale video labels through simulation, we believe attempting to maximize Sim2Real knowledge transferability is one of the promising directions for resolving the fundamental data-hungry issue in the video. To tackle this new problem, we present a novel two-phase adaptation scheme. In the first step, we exhaustively distill source domain knowledge using supervised loss functions. Simultaneously, video adversarial training (VAT) is employed to align the features from source to target utilizing video context. In the second step, we apply video self-training (VST), focusing only on the target data. To construct robust pseudo labels, we exploit the temporal information in the video, which has been rarely explored in the previous image-based self-training approaches. We set strong baseline scores on 'VIPER to CityscapeVPS' adaptation scenario. We show that our proposals significantly outperform previous image-based UDA methods both on image-level (mIoU) and video-level (VPQ) evaluation metrics.

연구 동기 및 목표

• 비지도 세분화에서 비디오 전용 도메인 적응 기법의 부족을 해결하기 위해.
• 최소한의 실제 세계 레이블을 사용하여 대규모 합성 비디오 데이터를 활용하여 Sim2Real 이동성 향상을 위해.
• 비디오 프레임 간의 시간적 맥락을 효과적으로 활용하여 강력한 도메인 적응을 위한 방법을 개발하기 위해.
• 복잡한 도시 환경에서의 비지도 비디오 도메인 적응을 위한 새로운 벤치마크를 수립하기 위해.
• 비디오 전용 적응이 비디오 세분화 작업에서 이미지 수준의 적응보다 뚜렷하게 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이중 단계 프레임워크인 비디오 적대적 훈련(VAT)과 비디오 자기 훈련(VST)을 제안한다.
• VAT에서는 시퀀스 구분자가 시공간적 특징을 사용하여 소스 도메인과 타겟 도메인의 분포를 정렬한다.
• 객체 경계와 형태의 시간적 변화를 명시적으로 모델링하기 위해 튜브 매칭 손실을 도입한다.
• VST에서는 이웃 프레임에서 플로우 기반 워핑을 사용하여 일관성을 향상시키기 위해 허위 레이블을 생성한다.
• 누락 영역을 메우는 대신 일관성이 없는 허위 레이블을 제거하는 컷아웃 기반 정밀 조정 전략을 사용한다.
• 기준 프레임에서 레이블을 전파하기 위해 플로우 기반 워핑 함수 $ W_{t-\tau \Rightarrow t} $ 와 비차폐 마스크 $ \mathbb{I}_{t-\tau \Rightarrow t} $ 를 조합한다.

실험 결과

연구 질문

• RQ1 이중 단계 비디오 도메인 적응 프레임워크는 이미지 기반 UDA 방법에 비해 실세계 비디오 데이터에서 세분화 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 시간적 맥락을 명시적으로 모델링하면 비디오 세분화의 도메인 적응에 어떤 영향을 미치는가?
• RQ3 허위 레이블 정밀 조정 전략—메우기 vs. 컷아웃—이 최종 세분화 정확도에 어떤 영향을 미치는가?
• RQ4 정답 레이블이 없는 상황에서 플로우 기반 레이블 전파가 허위 레이블 품질을 얼마나 향상시키는가?
• RQ5 제안된 방법은 시뮬레이션에서 실세계 Cityscapes-VPS로의 도메인 이동에 대해 강건한가, 특히 복잡한 도시 주행 환경에서?

주요 결과

• 제안된 방법은 VIPER에서 Cityscapes-VPS 벤치마크에서 51.91 mIoU 및 36.43 VPQ$^s$를 달성하여, 모든 이전의 이미지 기반 UDA 방법을 뛰어넘는다.
• 메우기 기반 기준 대비 컷아웃 기반 허위 레이블 정밀 조정 전략이 성능 향상을 이끌어내며, 노이즈가 많은 허위 레이블로 인한 오차 누적을 줄인다.
• 시간적 집계 덕분에 허위 레이블 품질이 크게 향상되었으며, 레이블 비율 30%에서 P-mIoU가 68.8에 도달하여 클래스 균형 및 인스턴스 적응 기반 기준을 초월한다.
• 정성적 결과는 비디오 프레임 간 일관되고 명확한 예측을 보여주며, 방법의 강건성과 시간적 일관성을 확인한다.
• 복잡한 도시 환경에서 뛰어난 일반화 성능을 보이며, 다양한 객체 카테고리와 운동 패턴에서 일관된 성능을 유지한다.
• 한계점으로는 플로우 네트워크에 의존하는 점으로, '보도'와 같은 클래스에서 운동 추정 오류로 인해 성능 저하가 발생할 수 있다.