[논문 리뷰] Weakly Supervised Silhouette-based Semantic Scene Change Detection

Ken Sakurada, Mikiya Shibuya외 1명|arXiv (Cornell University)|2018. 11. 29.

Remote-Sensing Image Classification참고 문헌 51인용 수 7

한 줄 요약

이 논문은 사전에 학습된 세분화 데이터셋을 기반으로 시각적 변화 감지와 의미적 레이블링을 분리하여, 사이라미스 상관망(CSCDNet)과 실루엣 기반 의미망(SSCDNet)을 사용하는 약한 감독(semi-supervised) 의미적 환경 변화 감지 프레임워크를 제안한다. 기존의 세분화 데이터셋에서 학습하고 시점 변화에 강인한 변화 감지 기술을 도입함으로써, PCD 데이터셋에서 최고 성능(SOTA)을 달성하며, 노이즈가 있는 변화 마스크가 존재하더라도 효과적인 의미적 변화 감지가 가능함을 입증하였다. 이는 새로 공개된 PSCD 벤치마크 데이터셋을 통해 검증되었다.

ABSTRACT

This paper presents a novel semantic scene change detection scheme with only weak supervision. A straightforward approach for this task is to train a semantic change detection network directly from a large-scale dataset in an end-to-end manner. However, a specific dataset for this task, which is usually labor-intensive and time-consuming, becomes indispensable. To avoid this problem, we propose to train this kind of network from existing datasets by dividing this task into change detection and semantic extraction. On the other hand, the difference in camera viewpoints, for example, images of the same scene captured from a vehicle-mounted camera at different time points, usually brings a challenge to the change detection task. To address this challenge, we propose a new siamese network structure with the introduction of correlation layer. In addition, we collect and annotate a publicly available dataset for semantic change detection to evaluate the proposed method. The experimental results verified both the robustness to viewpoint difference in change detection task and the effectiveness for semantic change detection of the proposed networks. Our code and dataset are available at https://kensakurada.github.io/pscd.

연구 동기 및 목표

• 의미적 환경 변화 감지에 적합한 대규모, 정렬된 데이터셋이 부족한 문제를 해결하기 위해.
• 전용으로 노동력이 많이 들는 데이터셋에 대한 종단간(end-to-end) 학습이 필요 없이 의미적 변화 감지를 가능하게 하기 위해.
• 차량에 장착된 카메라 영상에서 발생하는 시점 변화에 대한 강인성을 향상시키기 위해, 이는 변화 감지의 주요 과제이다.
• 변화 감지와 의미적 레이블링을 분리함으로써 더 나은 일반화 성능과 학습 효율성을 확보하는 이중 단계 프레임워크를 개발하기 위해.
• 공개 가능한 첫 번째 도로 수준의 의미적 변화 감지 데이터셋(PSCD)을 구축하고 공개하여 벤치마크를 제공하기 위해.

제안 방법

• 이 방법은 이중 단계 파이프라인을 사용한다: 첫 번째로, 상관관계 기반 사이라미스 변화 감지 네트워크(CSCDNet)가 이미지 쌍을 처리하여 시점 차이에 강인한 상관층을 통해 변화 확률 마스크를 생성한다.
• 두 번째로, SSCDNet은 이미지 쌍과 추정된 변화 마스크를 입력으로 받아 각 이미지의 픽셀 수준 의미적 레이블을 예측한다. 이는 Mapillary Vistas와 같은 의미적 세분화 데이터셋에서 유도한 합성 데이터를 기반으로 학습된다.
• SSCDNet 학습 중 변화 마스크에 데이터 증강을 적용하여 변화 감지 출력의 오류에 대한 강인성을 향상시킨다.
• CSCDNet은 PCD 데이터셋에서 시점 변화에 강인한 변화 감지 성능을 확보하기 위해 학습되며, 이는 해당 벤치마크에서 SOTA 성능을 달성한다.
• 의미적 변화 감지 마스크를 직접 레이블링하는 대신, 의미적 세분화 애너테이션에서 변화 감지 마스크를 합성함으로써 약한 감독 방식으로 SSCDNet을 학습한다.
• 변화 마스크가 불완전한 경우에도, 증강된 마스크를 사용한 학습을 통해 감지 오류를 보정할 수 있도록 학습함으로써 의미적 변화 감지가 가능해진다.

실험 결과

연구 질문

• RQ1 기존의 의미적 세분화 데이터셋에서 유도된 약한 감독만으로 의미적 환경 변화 감지가 효과적으로 학습될 수 있는가?
• RQ2 차량에 장착된 카메라 영상에서 발생하는 큰 시점 변화에 강인한 변화 감지 네트워크는 어떻게 설계할 수 있는가?
• RQ3 변화 감지 마스크의 정확도가 최종 의미적 변화 감지 시스템의 성능에 미치는 영향은 어느 정도인가?
• RQ4 변화 감지와 의미적 레이블링을 분리하는 이중 단계 접근법은 희귀한 정렬된 변화 감지 데이터셋에 대한 종단간 학습이 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 완전한 의미적 변화 감지 데이터셋이 가용할 경우, 제안된 방법은 종단간 학습과 비교해 어떻게 성능를 내는가?

주요 결과

• 상관관계층을 포함한 제안된 CSCDNet은 원형 변화 감지(PCD) 데이터셋에서 최고 성능(SOTA)을 달성하며, 시점 변화에 대한 처리 능력에서 기존 방법들을 능가한다.
• 변화 마스크에 오차가 존재할 경우, 마스크에 데이터 증강을 적용한 SSCDNet은 증강 없이 학습한 경우(0.223)에 비해 PSCD 데이터셋에서 더 높은 mIoU(0.283)를 기록한다.
• PSCD 데이터셋에서 전체 파이프라인(CSCDNet + SSCDNet)은 평균 교차율(mIoU) 0.303을 달성하였으며, 이는 종단간 학습(CSSCDNet)의 0.322에 근접한 성능이다.
• 정답 변화 마스크를 사용해 학습한 SSCDNet은 mIoU 0.283를 기록하여, 변화 마스크가 정확한 경우에도 뛰어난 성능을 보였다.
• 이 방법은 변화 감지 오류에 대해 강인함을 입증하였다: 증강된 마스크로 학습한 SSCDNet은 입력 마스크가 노이즈가 있을 경우 비증강 버전보다 성능이 뛰어나다.
• PSCD 데이터셋의 실패 케이스는 광고판이나 식생과 같은 작은, 부분적으로 가려진 물체에 대한 학습 데이터 부족에서 기인하며, 더 다양한 학습 데이터가 필요함을 시사한다.