[논문 리뷰] Multiview Detection with Shadow Transformer (and View-Coherent Data Augmentation)

Yunzhong Hou, Liang Zheng|arXiv (Cornell University)|2021. 08. 12.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 4

한 줄 요약

이 논문은 다중 카메라 시야 간의 특징을 적응적으로 융합하기 위해 새로운 색체 트랜스포머를 사용하는 MVDeTr라는 다중시야 객체 검출 시스템을 제안한다. 이는 투영에 의해 발생하는 시야별 왜곡 문제를 해결한다. 본 방법은 훈련 중 다중시야 일관성을 유지하기 위해 시야 일관성 있는 데이터 증강 기법을 도입하여 Wildtrack 및 MultiviewX 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Multiview detection incorporates multiple camera views to deal with occlusions, and its central problem is multiview aggregation. Given feature map projections from multiple views onto a common ground plane, the state-of-the-art method addresses this problem via convolution, which applies the same calculation regardless of object locations. However, such translation-invariant behaviors might not be the best choice, as object features undergo various projection distortions according to their positions and cameras. In this paper, we propose a novel multiview detector, MVDeTr, that adopts a newly introduced shadow transformer to aggregate multiview information. Unlike convolutions, shadow transformer attends differently at different positions and cameras to deal with various shadow-like distortions. We propose an effective training scheme that includes a new view-coherent data augmentation method, which applies random augmentations while maintaining multiview consistency. On two multiview detection benchmarks, we report new state-of-the-art accuracy with the proposed system. Code is available at https://github.com/hou-yz/MVDeTr.

연구 동기 및 목표

• 모든 위치에 대해 동일하게 처리하는 컨볼루션 기반의 다중시야 특징 융합 기법의 한계를 해결하기 위해, 투영에 의한 왜곡 정도가 다른 상황에서도 유연하게 대응할 수 있도록 하기 위해.
• 공간적 위치와 카메라 시야를 모두 고려한 학습 가능한 어텐션 메커니즘을 설계하여, 투영된 특징 맵에서 발생하는 그림자 같은 왜곡을 더 잘 다룰 수 있도록 하기 위해.
• 랜덤 변환을 적용하면서도 다중시야 일관성을 유지할 수 있는 데이터 증강 전략을 개발하여 효과적인 훈련을 가능하게 하기 위해.
• 통합된 검출 헤드를 통해 다중시야 감독을 공동으로 활용하여, 가림 상황에서의 검출 정확도를 향상시키기 위해.
• 시야 일관성 있는 증강과 각 시야별 감독이 일반화 능력 향상과 과적합 감소에 기여하는지 검증하기 위해.

제안 방법

• 핵심 아키텍처는 공통된 지면 평면 위치 임베딩과 학습된 카메라 임베딩을 사용하여 동시에 여러 카메라 시야와 위치를 고려해 어텐션을 수행하는 색체 트랜스포머를 사용한다.
• 색체 트랜스포머는 여러 시야의 투영된 특징 맵을 대상으로 작동하여, 이동 불변성 없이 시야 및 위치 인식 특징 융합을 가능하게 한다.
• 새로운 시야 일관성 있는 데이터 증강 전략은 각 시야에 대해 서로 다른 랜덤 애핀 변환을 적용하면서도, 투영 이전에 변환을 역행시켜 다중시야 일관성을 유지한다.
• 증강 과정 동안 일관성을 유지하고 훈련 안정성을 향상시키기 위해, 조정된 진짜 라벨을 사용한 각 시야별 감독을 사용한다.
• 검출 헤드는 지면 평면 상에서 객체 위치와 바운딩 박스를 직접 예측하는 완전 연결층이며, 오프셋 및 바운딩 박스 회귀에 대한 보조 손실이 포함되어 있다.
• 훈련 파이프라인은 표준 검출 손실(예: RetinaNet에서 유래한 것들)과 시야별 감독, 그리고 제안된 증강 기법을 통합한다.

실험 결과

연구 질문

• RQ1 공간적 위치와 카메라 시야를 모두 고려한 자기 어텐션 메커니즘이, 이동 불변성 있는 컨볼루션보다 다중시야 특징 융합에서 더 우수한 성능을 낼 수 있는가?
• RQ2 다중시야 일관성을 해치지 않으면서도 일반화 능력을 향상시키는 시야 일관성 있는 데이터 증강 전략은 효과적인가?
• RQ3 각 시야별 감독과 보조 손실은 다중시야 환경에서 검출 성능에 어떤 영향을 미치는가?
• RQ4 오프셋 및 바운딩 박스 회귀 손실은 다중시야 시스템에서 검출 정확도 향상에 어느 정도 기여하는가?
• RQ5 트랜스포머 기반 아키텍처는 투영 왜곡을 다룰 수 있으며, 다중시야 검출 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• MVDeTr는 Wildtrack 및 MultiviewX 벤치마크에서 모두 새로운 최고 성능을 기록하였으며, 이전 최고 성능 기준인 MVDet보다 MODA에서 각각 1.7%와 0.7% 향상되었다.
• 시야 일관성 있는 데이터 증강을 제거할 경우 Wildtrack과 MultiviewX에서 각각 MODA가 2.0%와 0.6% 감소하여, 이 기법이 성능 향상에 결정적인 역할을 한다는 것을 입증한다.
• 각 시야별 감독을 제거하면 Wildtrack과 MultiviewX에서 각각 MODA가 1.6%와 1.1% 감소하여, 과적합 감소와 일반화 능력 향상에 효과적이라는 것을 보여준다.
• 오프셋 손실은 MultiviewX에서 더 중요하게 작용한다(제거 시 0.6% MODA 감소), 이는 인파가 많고 NMS에 의해 가짜 부정 예측이 발생하기 쉬운 환경 때문일 것이다.
• 바운딩 박스 회귀 손실은 두 데이터셋 모두에 동일한 기여를 하며, 제거 시 각각 0.5%의 MODA 감소를 보여, 정확한 국소화에 기여한다는 것을 입증한다.
• 다중시야 변형 가능 어텐션을 표준 변형 가능 어텐션으로 대체할 경우 Wildtrack과 MultiviewX에서 각각 1.7%와 0.7%의 성능 저하가 발생하여, 제안된 어텐션 메커니즘이 우월함을 입증한다.