[논문 리뷰] Simultaneous multi-view instance detection with learned geometric soft-constraints

Ahmed Nassar, Sébastien Lefèvre외 1명|arXiv (Cornell University)|2019. 07. 25.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 28

한 줄 요약

이 논문은 노이즈가 있는 카메라 자세를 약한 지도로 사용하여 기하학적 소프트 제약과 외관 특징을 함께 학습함으로써 스트리트 레벨 파노라마에서 동시에 다중 시점 인스턴스 검출 및 재식별을 위한 엔드 투 엔드 딥 러닝 방법을 제안한다. 이 방법은 검출 정확도와 지리적 위치 특정 능력을 크게 향상시켜 패서디나 나무 데이터셋에서 평균 절대 오차(MAE)가 3.13m이며, Mapillary에서 재식별 mAP가 88%에 도달하여 단일 시점 기반 모델을 능가한다.

ABSTRACT

We propose to jointly learn multi-view geometry and warping between views of the same object instances for robust cross-view object detection. What makes multi-view object instance detection difficult are strong changes in viewpoint, lighting conditions, high similarity of neighbouring objects, and strong variability in scale. By turning object detection and instance re-identification in different views into a joint learning task, we are able to incorporate both image appearance and geometric soft constraints into a single, multi-view detection process that is learnable end-to-end. We validate our method on a new, large data set of street-level panoramas of urban objects and show superior performance compared to various baselines. Our contribution is threefold: a large-scale, publicly available data set for multi-view instance detection and re-identification; an annotation tool custom-tailored for multi-view instance detection; and a novel, holistic multi-view instance detection and re-identification method that jointly models geometry and appearance across views.

연구 동기 및 목표

• 큰 시점 변화, 조도 변화, 척도 차이가 있는 스트리트 레벨 파노라마에서 강건한 다중 시점 인스턴스 검출 및 재식별 문제를 해결하기 위해.
• 노이즈가 있는 상대적 카메라 자세를 약한 지도로 사용하여 동일한 객체 인스턴스의 시점 간 기하학적 구조와 워핑 함수를 함께 학습하기 위해.
• 다중 시점 인스턴스 검출 및 재식별을 위한 대규모 공개 데이터셋과 전용 애너테이션 툴을 개발하기 위해.
• 다양한 시점에서 카메라 자세와 객체 인스턴스 외관의 연합 분포를 모델링하여 객체 검출 및 지리적 위치 특정 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 카메라 자세와 객체 외관을 기반으로 시점 간 워핑 함수를 예측하는 'Projection Net'을 통합한 다중 시점 검출 프레임워크를 사용한다.
• 검출된 객체의 지리적 좌표를 회귀하기 위해 'Geo Regression Net'을 도입하여 기하학적 소프트 제약을 포함한 엔드 투 엔드 학습을 가능하게 한다.
• 검출, 재식별, 회귀 손실을 조합한 통합 손실 함수를 사용하여 객체 검출, 인스턴스 재식별, 지리적 위치 특정을 함께 최적화한다.
• 기하학적 소프트 제약은 네트워크의 일관된 자세-인스턴스 대응에 대한 주의 메커니즘을 통해 암묵적으로 학습되며, 유사한 객체 매칭의 모호성을 줄인다.
• 재식별을 위해 시모이드 아키텍처를 사용하여 시점 간 특징을 학습된 유사도 메트릭을 기반으로 비교한다.
• 지오로케이션된 스트리트 레벨 파노라마 데이터셋을 기반으로 엔드 투 엔드로 학습하며, 실제 환경의 왜곡을 시뮬레이션하기 위해 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 기하학과 외관을 함께 학습함으로써 도전적인 스트리트 레벨 파노라마 환경에서 다중 시점 인스턴스 검출 및 재식별 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 있는 상대적 카메라 자세를 약한 지도로 포함시킴으로써 검출 및 재식별 성능가 향상되는가?
• RQ3 워핑 함수와 기하학적 제약을 엔드 투 엔드로 학습함으로써 오소거리 경고(false positives)가 얼마나 줄어들고 지리적 위치 특정 정확도가 향상되는가?
• RQ4 제안된 방법이 짧은 기준선을 가진 정면 카메라와 같은 다양한 데이터 수집 설계에 일반화 가능한가?

주요 결과

• 패서디나 나무 데이터셋에서 제안된 방법은 객체 검출에 대해 68.2% mAP, 인스턴스 재식별에 대해 73.1% mAP를 달성하여 단일 시점 기반 모델을 크게 능가했다.
• Mapillary 데이터셋에서는 검출에 대해 90.2% mAP, 재식별에 대해 88.2% mAP를 기록하여 다양한 데이터 수집 설정 간 강력한 일반화 능력을 입증했다.
• 지리적 위치 특정의 평균 절대 오차(MAE)는 패서디나 데이터셋에서 3.13미터로 감소했으며, Mapillary에서는 4.36미터로 줄었고, 단일 시점 투영 기반 결과(77.41m 및 83.27m)에 비해 크게 향상되었다.
• 제거 분석 결과, 카메라 자세와 외관의 연합 분포를 학습함으로써 유사한 인스턴스를 정확히 구분함으로써 재식별 성능 향상이 뚜렷하게 확인되었다.
• 강한 투시 변형, 척도 변화, 파노라마 스티칭으로 인한 영상 잡음과 같은 도전적인 조건에서도 성공적으로 처리하였다.