[論文レビュー] Coordinate-Aligned Multi-Camera Collaboration for Active Multi-Object Tracking

Zeyu Fang, Jian Zhao+4 more|arXiv (Cornell University)|Feb 22, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、マルチエージェント強化学習を用いて、部分的で局所的な観測下でも複数の移動対象を能動的に追跡するための、座標整合型のマルチカメラ協調システムを提案する。カメラ観測からの逆投影による3次元対象座標の整合化と、複合報酬関数を用いた集中型Qネットワークを採用することで、71.88%の対象カバレッジを達成し、固定カメラベースラインより8.9%高い性能を示した。これは、部分的観測下でも効果的なグローバルな協調が可能であることを示している。

ABSTRACT

Active Multi-Object Tracking (AMOT) is a task where cameras are controlled by a centralized system to adjust their poses automatically and collaboratively so as to maximize the coverage of targets in their shared visual field. In AMOT, each camera only receives partial information from its observation, which may mislead cameras to take locally optimal action. Besides, the global goal, i.e., maximum coverage of objects, is hard to be directly optimized. To address the above issues, we propose a coordinate-aligned multi-camera collaboration system for AMOT. In our approach, we regard each camera as an agent and address AMOT with a multi-agent reinforcement learning solution. To represent the observation of each agent, we first identify the targets in the camera view with an image detector, and then align the coordinates of the targets in 3D environment. We define the reward of each agent based on both global coverage as well as four individual reward terms. The action policy of the agents is derived with a value-based Q-network. To the best of our knowledge, we are the first to study the AMOT task. To train and evaluate the efficacy of our system, we build a virtual yet credible 3D environment, named "Soccer Court", to mimic the real-world AMOT scenario. The experimental results show that our system achieves a coverage of 71.88%, outperforming the baseline method by 8.9%.

研究の動機と目的

• 部分的で局所的な観測下において、複数の移動対象を追跡するための複数カメラの協調を課題として取り上げる。
• 局所的なカメラ意思決定とグローバルな追跡目的のギャップを埋めるために、協調的で集中型のポリシー学習を可能にする。
• グローバルカバレッジと可視性、視線方向、ボクシングボックス品質といった個々のカメラのパフォーマンス指標をバランスさせる報酬関数を設計する。
• 訓練および評価のための現実的なマルチオブジェクト追跡シナリオをシミュレートできる3次元バーチャル環境を開発する。
• カメラ観測を共有の3次元座標空間に統合するために、逆投影変換の有効性を検証する。

提案手法

• 各カメラは、共有のディープQネットワークを用いた集中型マルチエージェント強化学習フレームワーク内のエージェントとしてモデル化され、Q値を推定する。
• 対象検出（Yolov4-tiny）により各カメラの視野内でのターゲットを特定し、逆投影を用いて2次元ボクシングボックスを3次元ワールド座標に変換することでグローバルな整合性を確保する。
• 複合報酬関数は、グローバルカバレッジ項と4つの個別報酬成分（可視性、視線方向、ボクシングボックスサイズ、位置整合性）を組み合わせる。
• 状態表現は、全カメラにおける検出対象の整合化された3次元座標を統合し、ポリシー学習のための統一されたグローバル状態を提供する。
• Unreal Engineを用いて「Soccer Court」と名付けたカスタム3次元環境を構築し、遮蔽や動的対象を含む現実的なマルチオブジェクト追跡をシミュレートする。
• 経験再生とターゲットネットワークを用いた深層Q学習により訓練を行い、長期的なカバレッジ最大化を最適化する。

実験結果

リサーチクエスチョン

• RQ1 部分的で局所的な観測下において、複数のカメラをどのように協調させて複数の移動対象を能動的に追跡できるか？
• RQ2 グローバルカバレッジと個々のカメラのパフォーマンス（可視性、視線方向、ボクシングボックス品質など）のバランスを取るために、どのような報酬設計がカメラ間の効果的協調を可能にするか？
• RQ3 逆投影による座標整合は、直接的なボクシングボックス入力と比較して、マルチカメラ追跡性能にどのように寄与するか？
• RQ4 本手法は、固定カメラベースラインに比べて、対象カバレッジと追跡のロバスト性においてどの程度優れているか？
• RQ5 複合報酬関数の各成分が、全体のシステムパフォーマンスにどの程度寄与しているか？

主な発見

• 提案手法は71.88%の対象カバレッジを達成し、固定カメラベースラインより8.9%高い性能を示した。
• アブレーションスタディの結果、可視性、視線方向、ボクシングボックス、位置整合性の4つの個別報酬成分のいずれかを削除すると性能が著しく低下することが確認され、それらが必須であることが裏付けられた。
• 逆投影変換により収束時間が短縮され、最終的な性能が向上した。10,000×5,000ワールドユニット空間内での推定3次元座標は、真値から平均29.6ユニット（標準偏差8.04）のずれにとどまった。
• 本システムは能動的追跡能力を示している：ターゲットが視野の縁に近づくと、エージェントがカメラの姿勢を能動的に調整し、追跡の喪失を防いでいる。
• 検出にYOLOv4-tinyを使用しても、真値ボクシングボックスを使用した場合と同等の性能を達成しており、パイプライン内での検出器の有効性が裏付けられた。
• 個別報酬に基づく分散型ベースラインは集中型手法とほぼ同等の性能を示したが、全状態統合を用いた集中型アプローチは、より優れたカバレッジと協調性を達成した。