[논문 리뷰] Epipolar-Guided Deep Object Matching for Scene Change Detection

Kento Doi, Ryuhei Hamaguchi외 4명|arXiv (Cornell University)|2020. 07. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 44인용 수 6

한 줄 요약

이 논문은 오직 객체 수준의 애너테이션만을 사용하여 시점 불변성 있는 장면 변화 탐지가 가능한 객체 기반 변화 탐지 네트워크(OBJ-CDNet)를 제안한다. 특히 에피포라르 기하학을 그래프 매칭에 통합한 심층 그래프 매칭 기반의 에피포라르 유도형 깊이 그래프 매칭(EGMNet)을 도입하여 정확한 객체 대응과 픽셀 단위 변화 탐지가 가능하게 하였으며, 정밀한 이미지 정렬이 불필요하다. 이로 인해 대규모 시점 변화가 발생하는 상황에서도 합성 및 실세계 데이터셋에서 기존 픽셀 단위 기반 방법들보다 뚜렷한 성능 향상을 달성하였다.

ABSTRACT

This paper describes a viewpoint-robust object-based change detection network (OBJ-CDNet). Mobile cameras such as drive recorders capture images from different viewpoints each time due to differences in camera trajectory and shutter timing. However, previous methods for pixel-wise change detection are vulnerable to the viewpoint differences because they assume aligned image pairs as inputs. To cope with the difficulty, we introduce a deep graph matching network that establishes object correspondence between an image pair. The introduction enables us to detect object-wise scene changes without precise image alignment. For more accurate object matching, we propose an epipolar-guided deep graph matching network (EGMNet), which incorporates the epipolar constraint into the deep graph matching layer used in OBJCDNet. To evaluate our network's robustness against viewpoint differences, we created synthetic and real datasets for scene change detection from an image pair. The experimental results verified the effectiveness of our network.

연구 동기 및 목표

• 모바일 카메라 기반 장면 변화 탐지에서 동적인 카메라 궤적과 shuttter 타이밍으로 인해 정밀한 이미지 정렬이 불가능한 시점 변화 문제를 해결하기 위해.
• 픽셀 단위 변화 애너테이션의 높은 비용을 줄이기 위해 픽셀 단위 지도 없이도 객체 단위 변화 지도만으로 엔드 투 엔드 학습이 가능한 방법을 개발하기 위해.
• 에피포라르 기하학을 심층 그래프 매칭에 통합하여 큰 시점 차이가 존재하는 상황에서도 객체 매칭의 강건성을 향상시키기 위해.
• 객체 기반 장면 변화 탐지의 벤치마크를 위해 최초로 대규모 공개용 합성 및 실세계 데이터셋을 구축하고 배포하기 위해.

제안 방법

• 입력 이미지 쌍에서 객체 검출 네트워크를 사용하여 바운딩 박스와 관심 영역(RoI) 특징을 생성한다.
• 검출된 바운딩 박스에서 객체 그래프를 구성하며, 노드는 객체를 나타내고, 간선은 공간적 관계를 표현한다(기하학적 구조를 위해 델로랑이 삼각분할을 사용한다).
• 에피포라르 유도형 심층 그래프 매칭 레이어는 객체 그래프 간의 유사도 행렬을 계산하며, 기본 행렬을 활용하여 정규화된 에피포라르 거리 기반으로 기하학적 일관성을 강제한다.
• 학습 가능한 어텐션 메커니즘이 매칭된 객체 특징을 융합하여 픽셀 단위의 의미적 변화 마스크를 예측하며, 픽셀 수준의 지도 데이터가 필요로 하지 않는다.
• 네트워크는 오직 객체 수준의 변화 애너테이션과 바운딩 박스 지도만을 사용하여 엔드 투 엔드로 학습되며, 성능 향상을 위해 전이 학습이 가능하다.
• 심층 그래프 매칭에 사전 학습된 의미적 세그멘테이션 헤드(예: Cityscapes 기반)를 통합하여 픽셀 단위 탐지 정확도를 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 에피포라르 제약 조건이 부여된 심층 그래프 매칭이 모바일 카메라 환경에서 큰 시점 변화가 존재하는 상황에서도 객체 대응의 강건성을 향상시킬 수 있는가?
• RQ2 객체 단위 변화 애너테이션은 얼마나 정확한 픽셀 단위 변화 탐지 모델을 학습시키는 데 픽셀 단위 애너테이션을 대체할 수 있는가?
• RQ3 그래프 매칭에 기하학적 제약(에피포라르 기하학)을 통합할 경우, 매칭 정확도와 변화 탐지 성능에 어떤 영향을 미치는가?
• RQ4 통합된 네트워크 아키텍처가 오직 객체 수준의 지도만으로도 강건한 객체 매칭과 고정밀 픽셀 단위 변화 탐지 성능을 동시에 달성할 수 있는가?

주요 결과

• 델로랑이 기반의 그래프 구조를 사용한 EGMNet는 완전 연결 그래프보다 높은 객체 매칭 정확도를 달성하여 객체 간 기하학적 관계의 중요성을 입증하였다.
• 에피포라르 제약 조건이 매칭 성능 향상에 크게 기여하였으며, 합성 및 실세계 데이터셋에서 EGMNet(FC/DT)가 비에피포라르 기반 기준선보다 일관되게 뛰어난 성능을 보였다.
• 어텐션 메커니즘을 통합한 OBJ-CDNet는 픽셀 단위 지도 없이도 완전 지도 학습 기반 최신 기술 수준의 방법들과 경쟁 가능한 픽셀 단위 변화 탐지 정확도(mIoU)를 달성하였다.
• 사전 학습된 세그멘테이션 헤드를 사용한 OBJ-CDSegNet은 큰 시점 차이가 존재하는 CARLA-OBJCD 데이터셋에서 세 개의 완전 지도 기반 기준선 중 두 개를 초월하였다.
• 정확한 바운딩 박스를 사용할 경우 EGMNet는 최신 기술 수준의 성능을 달성하였으며, 향후 더 나은 객체 검출 성능을 확보할 경우 잠재적인 향상 가능성이 크다는 것을 시사하였다.
• 이 방법은 이동 중인 차량, 가림 현상 등의 도전적인 상황에서도 장면 변화를 성공적으로 탐지하였으며, 표준 픽셀 단위 방법들과는 달리 뚜렷한 시점 이동에 대해서도 강건성을 유지하였다.