[논문 리뷰] Coordinate-Aligned Multi-Camera Collaboration for Active Multi-Object Tracking

Zeyu Fang, Jian Zhao외 4명|arXiv (Cornell University)|2022. 02. 22.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화 학습을 사용하여 부분 관찰 조건 하에서 활동적 다중 객체 추적(AMOT)을 위한 좌표 정렬형 다중 카메라 협업 시스템을 제안한다. 카메라 관측치에서의 역투영을 통한 3차원 목표 좌표 정렬과 복합 보상 함수를 갖춘 중심화된 Q-네트워크를 적용하여, 기준 고정 카메라 방법 대비 8.9% 높은 71.88%의 목표 커버리지 성능을 달성함으로써, 국소 관찰 조건 하에서도 효과적인 전역 협업을 입증한다.

ABSTRACT

Active Multi-Object Tracking (AMOT) is a task where cameras are controlled by a centralized system to adjust their poses automatically and collaboratively so as to maximize the coverage of targets in their shared visual field. In AMOT, each camera only receives partial information from its observation, which may mislead cameras to take locally optimal action. Besides, the global goal, i.e., maximum coverage of objects, is hard to be directly optimized. To address the above issues, we propose a coordinate-aligned multi-camera collaboration system for AMOT. In our approach, we regard each camera as an agent and address AMOT with a multi-agent reinforcement learning solution. To represent the observation of each agent, we first identify the targets in the camera view with an image detector, and then align the coordinates of the targets in 3D environment. We define the reward of each agent based on both global coverage as well as four individual reward terms. The action policy of the agents is derived with a value-based Q-network. To the best of our knowledge, we are the first to study the AMOT task. To train and evaluate the efficacy of our system, we build a virtual yet credible 3D environment, named "Soccer Court", to mimic the real-world AMOT scenario. The experimental results show that our system achieves a coverage of 71.88%, outperforming the baseline method by 8.9%.

연구 동기 및 목표

• 국소적이고 부분적인 관찰 조건 하에서 다수의 움직이는 목표를 추적하기 위해 다수의 카메라를 효과적으로 조율하는 문제를 해결하기 위해.
• 국소적 카메라 결정과 전역 추적 목표 간 격차를 해소하기 위해, 협동적이고 중심화된 정책 학습을 가능하게 하기 위해.
• 전역 커버리지와 시야, 방향, 경계상자 품질 등의 개별 카메라 성능 지표를 균형 잡는 보상 함수를 설계하기 위해.
• 훈련 및 평가를 위한 실제 세계의 다중 객체 추적 시나리오를 현실적으로 시뮬레이션할 수 있는 3차원 가상 환경을 개발하기 위해.
• 카메라 관측치를 공통의 3차원 좌표 공간으로 정렬하기 위해 역투영 변환 기법의 효과를 검증하기 위해.

제안 방법

• 각 카메라는 중심화된 다중 에이전트 강화 학습 프레임워크 내에서 에이전트로 모델링되며, Q-값을 추정하기 위해 공유된 딥 Q-네트워크를 사용한다.
• 목표 검출(Yolov4-tiny)을 통해 각 카메라의 시야 내 목표를 식별하고, 역투영을 통해 2차원 경계상자를 3차원 세계 좌표로 변환하여 전역 정렬을 실현한다.
• 복합 보상 함수는 전역 커버리지 항목과 4개의 개별 보상 구성요소(시야, 방향, 경계상자 크기, 위치 정렬)를 통합한다.
• 상태 표현은 모든 카메라에서 정렬된 검출 목표의 3차원 좌표를 통합하여, 정책 학습을 위한 통합된 전역 상태를 제공한다.
• 실제 세계의 다중 객체 추적 시나리오를 현실적으로 시뮬레이션하기 위해 유니티 엔진(Unreal Engine)을 활용해 고유한 3차원 환경 'Soccer Court'를 구축하였다.
• 경험 재생과 타겟 네트워크를 활용한 딥 Q-학습을 통해 시스템을 훈련시키며, 장기적 커버리지 최적화를 목표로 한다.

실험 결과

연구 질문

• RQ1 국소적이고 부분적인 관찰 조건 하에서 다수의 움직이는 목표를 추적하기 위해 다수의 카메라를 어떻게 조율할 수 있는가?
• RQ2 전역 커버리지와 개별 카메라 성능 지표를 균형 잡는 동시에 카메라 간 효과적인 협업을 가능하게 하는 보상 설계는 무엇인가?
• RQ3 역투영을 통한 좌표 정렬은 원시 경계상자 입력에 비해 다중 카메라 추적 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 고정 카메라 기준 대비 목표 커버리지 및 추적 강건성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 복합 보상 함수의 각 구성 요소가 전체 시스템 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 71.88%의 목표 커버리지 비율을 달성하여 고정 카메라 기준 대비 8.9% 향상된 성능을 보였다.
• 제거 실험 결과, 시야, 방향, 경계상자, 위치 정렬의 4개의 개별 보상 구성요소 중 어느 하나라도 제거할 경우 성능이 심각하게 저하됨을 확인하여, 이들 구성요소의 필수성을 입증하였다.
• 역투영 변환 기법은 수렴 시간을 단축시키고 최종 성능을 향상시켰으며, 10,000×5,000 단위의 세계 공간에서 추정된 3차원 좌표가 참값으로부터 평균 29.6 단위 이내(표준편차 8.04)로 편차를 보였다.
• 시스템은 활동적 추적 능력을 보였다: 목표가 시야 경계에 가까워지면 에이전트가 자동으로 카메라 자세를 조정하여 추적 상실을 방지하였다.
• 검출에 YOLOv4-tiny를 사용할 경우, 참값 경계상자 사용 결과와 유사한 성능을 달성하여, 검출기의 파이프라인 내 효과성을 입증하였다.
• 개별 보상 기반의 분산형 기준 대비 중심화된 방법은 커버리지 및 협업 능력 측면에서 뛰어난 성능을 보였으며, 전체 상태 통합을 통한 중심화된 정책 학습이 우수한 성능 기여를 하였다.