[논문 리뷰] Learning to Measure Change: Fully Convolutional Siamese Metric Networks for Scene Change Detection

Enqiang Guo, Xinsha Fu외 5명|ArXiv.org|2018. 10. 22.

Remote-Sensing Image Classification참고 문헌 49인용 수 72

한 줄 요약

이 논문은 CosimNet을 소개합니다. 이는 학습된 메트릭 학습으로 대비 및 Thresholded Contrastive Loss를 사용하여 조명, 시점, 확대 변화 하에서 의미적 변화와 노이즈 변화를 구분하기 위해 이미지 쌍 간의 픽셀 단위 변화를 직접 측정하는 완전 컨볼루션 시암 메트릭 네트워크입니다.

ABSTRACT

A critical challenge problem of scene change detection is that noisy changes generated by varying illumination, shadows and camera viewpoint make variances of a scene difficult to define and measure since the noisy changes and semantic ones are entangled. Following the intuitive idea of detecting changes by directly comparing dissimilarities between a pair of features, we propose a novel fully Convolutional siamese metric Network(CosimNet) to measure changes by customizing implicit metrics. To learn more discriminative metrics, we utilize contrastive loss to reduce the distance between the unchanged feature pairs and to enlarge the distance between the changed feature pairs. Specifically, to address the issue of large viewpoint differences, we propose Thresholded Contrastive Loss (TCL) with a more tolerant strategy to punish noisy changes. We demonstrate the effectiveness of the proposed approach with experiments on three challenging datasets: CDnet, PCD2015, and VL-CMU-CD. Our approach is robust to lots of challenging conditions, such as illumination changes, large viewpoint difference caused by camera motion and zooming. In addition, we incorporate the distance metric into the segmentation framework and validate the effectiveness through visualization of change maps and feature distribution. The source code is available at https://github.com/gmayday1997/ChangeDet.

연구 동기 및 목표

• 변화 탐지를 분류 중심의 접근이 아닌 비유사도 측정 문제로 제안한다.
• 변화 탐지를 위한 암묵적 메트릭을 학습하는 엔드-투-엔드 학습 가능한 프레임워크를 개발한다.
• 조명, 그림자, 그리고 카메라 시점 차이로 인한 노이즈 변화에 대한 민감도를 감소시킨다.
• FCN 기반 변화 탐지에 거리 메트릭을 도입하고 다수 데이터셋으로 검증한다.

제안 방법

• 이미지 쌍에서 쌍의 특징을 추출하기 위해 Fully Convolutional Siamese 네트워크를 사용한다.
• 정규화된 특징에 미리 정의된 거리 메트릭(L2나 코사인 등)을 적용하여 변화 맵을 생성한다.
• 불변한 쌍은 함께 모으고 변화된 쌍은 떨어지도록 contrastive loss로 학습한다.
• 큰 시점 차이를 견디기 위해 Thresholded Contrastive Loss(TCL)를 도입한다.
• 깊은 감독과 계층별 손실 균형을 위한 Multi-Layer Side-Output(MLSO) 학습을 채택한다.
• 학습된 메트릭을 FCN 기반 세그먼테이션 프레임워크에 통합하여 엔드 투 엔드 변화 탐지를 수행한다.

실험 결과

연구 질문

• RQ1 노이즈 변화를 억제하면서 의미 변화에 초점을 맞춘 판별 메트릭을 어떻게 정의하고 학습할까?
• RQ2 메트릭 학습이 포함된 시암 FCN이 장면 변화 탐지에서 조명 및 시점 변화에 대한 강건성을 개선할 수 있는가?
• RQ3 큰 시점 차이에서 Thresholded Contrastive Loss(TCL)가 실제 이점을 제공하는가?
• RQ4 FCN 기반 변화 탐지에 거리 메트릭을 도입하면 데이터셋 전반에서 세분화 품질이 향상되는가?

주요 결과

• TCL이 있는 CosimNet은 VL-CMU-CD 및 PCD2015 데이터셋에서 베이스라인을 능가하며, L2 거리 사용과 더 깊고 의미 있는 특징에서 큰 이점을 보인다.
• 초기 contrastive loss는 작은 시점 차이에 충분하고, TCL은 큰 시점 차이(PTZ 시나리오)에서 성능을 향상시킨다.
• 유클리드 거리 대체로 코사인 유사도보다 더 높은 RMS 대비와 더 나은 변화 맵을 나타낸다.
• MLSO 학습은 중간 계층의 판별성을 향상시켜 전반적인 변화 탐지 성능을 개선한다.
• CosimNet은 CDnet에서 경쟁력 있는 결과를 달성하며 특히 큰 시점 차이에서 우수하지만, 일부 지표에서 의미론적 세분화 기본 모델이 여전히 강력하다.