[논문 리뷰] Detection-by-Localization: Maintenance-Free Change Object Detector

Tanaka Kanji|arXiv (Cornell University)|2018. 09. 14.

Advanced Chemical Sensor Technologies인용 수 5

한 줄 요약

이 논문은 검출-로컬라이제이션 방식을 사용하여 유지보수 비용이 없고 비지도 학습 기반의 개체 수준 변화 감지 방법을 제안한다. 여기서 자기 로컬라이제이션 성능(정답 기준 이미지의 순위)을 사용해 픽셀 수준의 변화 가능성 지수(LoC) 지ap을 생성한다. 비지도 순위 융합을 통해 부분 이미지 수준의 순위를 융합함으로써, 관련도 점수나 학습 데이터가 없이도 높은 정확도를 달성하며, 원시 유사도 점수에 접근할 수 없는 점을 감안할 때 점수 기반 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

Recent researches demonstrate that self-localization performance is a very useful measure of likelihood-of-change (LoC) for change detection. In this paper, this "detection-by-localization" scheme is studied in a novel generalized task of object-level change detection. In our framework, a given query image is segmented into object-level subimages (termed "scene parts"), which are then converted to subimage-level pixel-wise LoC maps via the detection-by-localization scheme. Our approach models a self-localization system as a ranking function, outputting a ranked list of reference images, without requiring relevance score. Thanks to this new setting, we can generalize our approach to a broad class of self-localization systems. Our ranking based self-localization model allows to fuse self-localization results from different modalities via an unsupervised rank fusion derived from a field of multi-modal information retrieval (MMR).

연구 동기 및 목표

• 수동 애너테이션이나 모델 재학습이 필요 없이, 동적인 환경에서 부분 이미지 또는 개체 수준에서 변화된 객체를 감지하는 데 도전하는 것.
• 자기 로컬라이제이션 성능을 변화 가능성 지수(LoC) 측도로 일반화하여 개체 수준의 변화 감지에 활용하는 것.
• 관련도 점수나 레이블 데이터에 의존하지 않고, 부분 이미지 수준의 순위를 융합하여 픽셀 수준의 LoC 지도를 생성하는 비지도 프레임워크를 개발하는 것.
• 기존 자기 로컬라이제이션 엔진과 지ap 데이터베이스를 재사용함으로써 지도 유지 보수 시스템의 유지보수 비용을 최소화하는 것.
• 순위 기반 융합을 통한 영상 부분의 융합을 통해 실시간으로 확장 가능한 변화 감지 기능을 시각 SLAM 시스템에 구현하는 것.

제안 방법

• 이 방법은 쿼리 이미지를 개체 수준의 부분 이미지(장면 부분)로 분할하며, 각 부분을 자기 로컬라이제이션 시스템의 쿼리로 간주한다.
• 자기 로컬라이제이션 성능은 검색 목록에서 정답 기준 이미지의 순위로 측정되며, 이는 LoC의 대체 측도로 기능한다.
• 각 부분 이미지는 자신의 순위 값에 기반해 부분 이미지 수준의 픽셀 수준 LoC 지도를 생성하며, 낮은 순위일수록 변화 가능성 확률이 높다.
• 비지도 순위 융합 전략을 통해 겹치는 부분 이미지의 LoC 지도를 픽셀 수준에서 융합함으로써, 여러 장면 부분에 걸친 증거를 집계한다.
• 원시 관련도 점수의 접근이 불필요한 점을 감안해, 수정된 다중 모달리트리ieval(MMR) 접근 방식을 사용해 순위를 융합한다.
• 최종적으로 이미지 수준의 LoC 지도는 부분 이미지 LoC 지도를 픽셀 수준의 순위 융합을 통해 병합함으로써 도출되며, 이는 변화된 객체의 개체 수준 로컬라이제이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정답 이미지의 순위로 측정된 자기 로컬라이제이션 성능이 개체 수준에서 변화 가능성 지수(LoC)의 효과적인 대체 측도로 사용될 수 있는가?
• RQ2 관련도 점수에 접근할 수 없는 조건에서 부분 이미지 수준의 순위를 어떻게 융합하여 신뢰할 수 있는 픽셀 수준의 LoC 지도를 생성할 수 있는가?
• RQ3 비지도 순위 융합을 사용할 경우 점수 기반 융합 또는 무융합 기반의 방법에 비해 변화 감지 성능에서 어떤 성능 향상이 이루어지는가?
• RQ4 소형 또는 저해상도의 변화된 객체에 대해 이 방법은 어떻게 성능을 발휘하며, 감지 가능한 최소 객체 크기는 얼마인가?
• RQ5 재학습 없이도 다양한 자기 로컬라이제이션 시스템과 모odalities에 대해 일반화 가능한가?

주요 결과

• 제안된 순위 융합 방법은 원시 관련도 점수에 접근할 수 없음에도 불구하고, 점수 기반 융합 방법(예: 점수 최대값 및 점수 합계)과 유사한 성능을 달성했다.
• 이 방법은 '순위 융합 없음' 기반선보다 뛰어난 성능을 보였으며, 픽셀 수준의 순위 융합이 감지 정확도를 크게 향상시킨다는 점을 입증했다.
• RoC 임계값으로 제어되는 다양한 난이도 수준에서 성능이 안정적이었으며, 파rameter 설정에 민감하지 않았다.
• 저해상도의 부분 이미지에서 시각적으로 작은 객체도 성공적으로 감지하여 미세한 변화에 대한 높은 감도를 보였다.
• '점수 최대값' 전략이 기준선 중에서 가장 뛰어난 성능을 보였지만, 이는 유사도 점수의 가용성을 필요로 하므로, 제안된 비지도 접근 방식의 우수성을 강조한다.
• 비지도 성격 덕분에 재학습이나 추가 데이터 수집 없이도 다양한 자기 로컬라이제이션 시스템에 넓게 일반화 가능하다.