[논문 리뷰] Dense Optical Flow based Change Detection Network Robust to Difference of Camera Viewpoints

Ken Sakurada, Weimin Wang외 2명|arXiv (Cornell University)|2017. 12. 08.

Remote-Sensing Image Classification참고 문헌 15인용 수 17

한 줄 요약

이 논문은 이동하는 카메라에서 촬영한 이미지 쌍의 시점 차이에 대해 강건성을 향상시키기 위해 밀도 있는 광학 흐름을 활용하는 DOF-CDNet이라는 변화 감지 네트워크를 제안한다. 광학 흐름을 추가 입력 모odalitiy로 통합함으로써, 이 방법은 원형 변화 감지 벤치마크에서 기존의 CNN 기반 접근 방식보다 F1-스코어 기준 최대 0.022 향상된 최신 기술 수준의 성능을 달성한다. GSV 데이터셋에서의 성능 향상은 특히 뚜렷하다.

ABSTRACT

This paper presents a novel method for detecting scene changes from a pair of images with a difference of camera viewpoints using a dense optical flow based change detection network. In the case that camera poses of input images are fixed or known, such as with surveillance and satellite cameras, the pixel correspondence between the images captured at different times can be known. Hence, it is possible to comparatively accurately detect scene changes between the images by modeling the appearance of the scene. On the other hand, in case of cameras mounted on a moving object, such as ground and aerial vehicles, we must consider the spatial correspondence between the images captured at different times. However, it can be difficult to accurately estimate the camera pose or 3D model of a scene, owing to the scene changes or lack of imagery. To solve this problem, we propose a change detection convolutional neural network utilizing dense optical flow between input images to improve the robustness to the difference between camera viewpoints. Our evaluation based on the panoramic change detection dataset shows that the proposed method outperforms state-of-the-art change detection algorithms.

연구 동기 및 목표

• 표준 방법의 성능 저하를 유발하는 카메라 시점 차이가 존재하는 이동 카메라 시나리오에서 장면 변화 감지의 과제를 해결하기 위해.
• 정확한 카메라 자세 추정이나 3D 복원에 의존하지 않고도 시점 변화에 대한 강건성을 향상시키기 위해.
• 더 나은 공간 정렬을 위해 광학 흐름을 통합하는 딥 러닝 기반의 변화 감지 프레임워크를 개발하기 위해.
• 비용이 많이 드는 SfM 또는 번들 조정을 피하기 위해 GPS 기반 이미지 정렬만을 사용하여 정확한 변화 감지를 가능하게 하기 위해.
• 광학 흐름에서 유도된 운동 인식 특징을 통합하여 변화 감지에 특화된 CNN을 최적화하기 위해.

제안 방법

• 이 방법은 서로 다른 시간의 두 이미지와 그 사이의 추정된 밀도 있는 광학 흐름을 입력으로 사용하는 이중 스트림 컨volution 신경망을 사용한다.
• 광학 흐름은 사전 훈련된 모델(예: FlowNet2)을 사용하여 이미지 쌍 간의 픽셀 단위 운동을 캡처한다.
• 네트워크는 다중 척도에서 이미지 쌍과 광학 흐름의 특징을 융합하여 공간 대응 이해를 향상시킨다.
• 스킵 연결과 다중 척도 특징 집약 모듈을 사용하여 변화 지ap 예측 시 세밀한 세부 사항을 유지한다.
• 지표 변화 마스크에 대한 이진 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 최종 예측 결과는 특정 픽셀에서 장면 변화가 발생했는지 여부를 나타내는 픽셀 단위의 변화 지도이다.

실험 결과

연구 질문

• RQ1 입력 이미지가 서로 다른 카메라 시점에서 촬영되었을 때, 밀도 있는 광학 흐름이 변화 감지 성능 향상에 기여할 수 있는가?
• RQ2 광학 흐름을 입력 모달리티로 통합함으로써 이동 카메라 시나리오에서 변화 감지의 강건성은 어떻게 향상되는가?
• RQ3 시점 차이를 고려하지 않는 기존의 CNN 기반 변화 감지 네트워크에 비해 제안된 방법이 성능 면에서 뛰어나게 되는가?
• RQ4 광학 흐름의 사용은 정밀한 카메라 자세 추정 또는 3D 복원에 대한 의존도를 어느 정도 감소시키는가?
• RQ5 실제의 원형 데이터셋에서 광범위한 시점 변화가 존재하는 환경에서도 이 방법이 잘 일반화되는가?

주요 결과

• 제안된 DOF-CDNet는 GSV 데이터셋에서 F1-스코어 0.7660을 기록하여, 동일한 벤치마크에서 기준 모델인 CDNet보다 F1-스코어 기준 0.0242 향상되었다.
• 원형 변화 감지 데이터셋의 여러 테스트 시퀀스를 평균적으로 볼 때, DOF-CDNet는 최신 기술 수준의 방법들보다 F1-스코어 평균 0.022 향상되었다.
• 도시 교차로나 곡선 도로와 같이 시점 차이가 큰 장면에서도 표준 방법이 실패하는 상황에서도 상당한 강건성을 보였다.
• 제거 실험 결과에서 광학 흐름 입력이 특히 고도의 운동 파라랄랙스가 존재하는 영역에서 성능 향상에 기여한다는 것이 확인되었다.
• GPS 기반 이미지 정렬이 정확하지 않을 경우에도 모델은 높은 정확도를 유지하여 정확한 카메라 자세 지식에 대한 의존도를 줄였다.
• 시각적 결과에서는 동적인 객체나 구조적 변화 주변에서 DOF-CDNet이 더 정확하고 완전한 변화 지도를 생성하는 것으로 나타났다.