[논문 리뷰] Multiview Detection with Feature Perspective Transformation

Yunzhong Hou, Liang Zheng외 1명|arXiv (Cornell University)|2020. 07. 14.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 10

한 줄 요약

이 논문은 특징맵의 시점 변환을 통해 다중 시점 특징을 통합하고, 대규모 커널 완전 컨volution 네트워크를 활용한 공간적 이웃 통합을 통해, 엔드 투 엔드로 동작하는 앵커 기반 아님 다중 시점 보행자 검출 프레임워크인 MVDet을 제안한다. Wildtrack에서 88.2%의 MODA를 달성하며 이는 이전 최고 성능 대비 14.1% 향상된 것으로, 가림과 혼잡한 환경에서도 뛰어난 성능을 입증한다.

ABSTRACT

Incorporating multiple camera views for detection alleviates the impact of occlusions in crowded scenes. In a multiview system, we need to answer two important questions when dealing with ambiguities that arise from occlusions. First, how should we aggregate cues from the multiple views? Second, how should we aggregate unreliable 2D and 3D spatial information that has been tainted by occlusions? To address these questions, we propose a novel multiview detection system, MVDet. For multiview aggregation, existing methods combine anchor box features from the image plane, which potentially limits performance due to inaccurate anchor box shapes and sizes. In contrast, we take an anchor-free approach to aggregate multiview information by projecting feature maps onto the ground plane (bird's eye view). To resolve any remaining spatial ambiguity, we apply large kernel convolutions on the ground plane feature map and infer locations from detection peaks. Our entire model is end-to-end learnable and achieves 88.2% MODA on the standard Wildtrack dataset, outperforming the state-of-the-art by 14.1%. We also provide detailed analysis of MVDet on a newly introduced synthetic dataset, MultiviewX, which allows us to control the level of occlusion. Code and MultiviewX dataset are available at https://github.com/hou-yz/MVDet.

연구 동기 및 목표

• 혼잡한 환경에서의 가림과 모호함을 다중 시점 보행자 검출에서 해결하기 위해.
• 사전에 정의된 경계 상자에 의존하는 앵커 기반 다중 시점 특징 통합의 한계를 극복하기 위해.
• 공간 통합 과정에서 CRF나 평균장 추론과 같은 외부 후처리 작업이 필요 없도록 하기 위해.
• 공간적 이웃과 다중 시점을 동시에 고려하는 엔드 투 엔드 학습이 가능한 완전 컨volution 다중 시점 검출 시스템을 개발하기 위해.
• 실제 환경(Wildtrack)과 통제된 합성 환경(MultiviewX) 데이터셋에서 다양한 가림 수준 하에서 성능을 평가하기 위해.

제안 방법

• MVDet는 다중 카메라 시점의 특징맵을 지면 평면으로 투영하기 위해 시점 변환을 사용하여 앵커 기반 표현을 직접 픽셀 단위의 특징 샘플링을 통해 가능하게 한다.
• 모든 시점에서 변환된 특징맵을 연결하여 지면 평면의 각 위치에서 통합된 다중 시점 특징맵을 형성한다.
• 공간 통합은 완전 컨volution 아키텍처 내에서 대규모 수신장 컨벌루션(대규모 커널 컨벌루션)을 사용하여 수행되며, 외부 CRF나 평균장 추론을 대체한다.
• 단일 시점 검출 감독(발과 머리 점 검출)과 다중 시점 검출 손실을 포함하는 복합 손실을 통해 엔드 투 엔드로 학습한다.
• 특징맵 시점 변환은 카메라 캘리브레이션과 3D에서 2D로의 투영 기반으로 미분 가능성이 있는 동차성 추정을 사용해 구현된다.
• 시스템은 각 지면 평면 위치에서 보행자가 존재하는지 예측하는 보행자 점유도 맵(POM)을 출력한다.

실험 결과

연구 질문

• RQ1 특징 시점 변환을 통한 앵커 기반 아님 다중 시점 특징 통합은 다중 시점 보행자 검출에서 앵커 기반 방법과 비교해 어떻게 성능을 냅니다?
• RQ2 완전 컨volution형 대규모 커널 접근 방식은 가림된 환경에서 CRF나 평균장 추론을 효과적으로 대체할 수 있나요?
• RQ3 MVDet의 성능은 다양한 수준의 가림과 혼잡도에서 어떻게 변화합니까?
• RQ4 단일 시점 검출 감독이 전체 다중 시점 검출 성능에 기여하는 정도는 어느 정도입니까?
• RQ5 MultiviewX와 같은 합성 데이터셋을 사용해 통제된 가림 조건에서 다중 시점 검출 성능을 체계적으로 분석하고 검증할 수 있나요?

주요 결과

• MVDet는 Wildtrack 데이터셋에서 88.2%의 MODA를 달성하며, 이는 이전 최고 성능 대비 14.1% 향상된 성능이다.
• 공간 통합에 대규모 커널 컨벌루션을 사용함으로써 Wildtrack에서 11.3%의 MODA 향상을 기록했으며, CRF 기반 방법보다 +6.3% 향상된 성능을 보였다.
• MultiviewX 합성 데이터셋에서는 다양한 가림 수준에서 뛰어난 성능 유지를 보였으며, 혼잡도가 증가할수록 성능 저하가 발생하는 것으로 예상되게 나타났다.
• 단일 시점 검출 손실을 제거할 경우 Wildtrack과 MultiviewX에서 각각 1.2%와 2.0%의 성능 저하가 발생했으며, 이는 감독의 유용성을 시사한다.
• MultiviewX에서 공간 통합의 성능 향상 폭이 Wildtrack보다 작았는데, 이는 평균 카메라 커버리지가 더 높기 때문이었으며(4.41 vs. 3.74), 이는 모호성을 감소시켜 향상 가능성 자체를 제한했다.
• 제거 실험 결과, 제안된 앵커 기반 아님 특징 통합과 완전 컨볼루션 공간 통합이 모두 모델 성능에 핵심적인 역할을 한다는 것이 확인되었다.