[論文レビュー] Proactive Multi-Camera Collaboration For 3D Human Pose Estimation

Hai Ci, Mickel Liu+3 more|arXiv (Cornell University)|Mar 7, 2023

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文は、動的で混雑した群衆におけるオクルージョンとクレジット割り当ての課題に対処するため、マルチエージェント強化学習（MARL）を用いた能動的でマルチカメラ協調フレームワークを提案する。新規の協調トリアングレーション寄与報酬（CTCR）を導入し、ワールドダイナミクス学習と統合することで、分散型で適応的なカメラ配置が可能となり、再構成精度と収束性が向上する。3〜5台のカメラと最大6名の人物を想定したフォトリアリスティックなUE4環境において、固定カメラおよびアクティブなベースラインを上回る性能を発揮する。

ABSTRACT

This paper presents a multi-agent reinforcement learning (MARL) scheme for proactive Multi-Camera Collaboration in 3D Human Pose Estimation in dynamic human crowds. Traditional fixed-viewpoint multi-camera solutions for human motion capture (MoCap) are limited in capture space and susceptible to dynamic occlusions. Active camera approaches proactively control camera poses to find optimal viewpoints for 3D reconstruction. However, current methods still face challenges with credit assignment and environment dynamics. To address these issues, our proposed method introduces a novel Collaborative Triangulation Contribution Reward (CTCR) that improves convergence and alleviates multi-agent credit assignment issues resulting from using 3D reconstruction accuracy as the shared reward. Additionally, we jointly train our model with multiple world dynamics learning tasks to better capture environment dynamics and encourage anticipatory behaviors for occlusion avoidance. We evaluate our proposed method in four photo-realistic UE4 environments to ensure validity and generalizability. Empirical results show that our method outperforms fixed and active baselines in various scenarios with different numbers of cameras and humans.

研究の動機と目的

• 固定カメラシステムでは、オクルージョンや撮影可能領域の制限により、動的で混雑した群衆における3次元再構成が困難であるという限界を解消すること。
• チーム報酬が共有されるため、個々のエージェントの貢献が隠蔽されるアクティブカメラシステムにおけるマルチエージェントクレジット割り当て問題を克服すること。
• オクルージョンを事前に予測し、最適なマルチビュートリアングレーションを維持する能動的で分散型のカメラ協調を可能にすること。
• 高密度の人物がいる複雑でリアルタイムな環境において汎用的かつスケーラブルなマルチカメラシステムのソリューションを開発すること。

提案手法

• 本手法は、動的シーンにおけるリアルタイムかつ分散型のカメラ制御のため、分散型方策を用いたマルチエージェント強化学習（MARL）を採用する。
• 各エージェントの寄与度を公平に評価するため、シャープレー値を模倣した協調トリアングレーション寄与報酬（CTCR）を導入する。CTCRは、すべての可能な連合について、エージェントの限界的寄与度を平均化することで、3次元再構成精度への寄与度を算出する。
• CTCRは、他のエージェントのすべての部分集合について、エージェントの加重限界寄与度の平均を計算することで算出され、公平なクレジット割り当てを保証するとともに、オクルージョン回避を促進する。
• ワールドダイナミクス学習（WDL）は、方策と同時に学習され、5つの補助タスク（ターゲット位置予測、歩行者位置予測、自己状態、チームメイト状態、チーム報酬予測）を用いる。
• 本フレームワークは、フォトリアルなUE4環境（UnrealPose）で訓練され、多様な群衆ダイナミクスにわたる現実性と汎用性を確保する。
• カメラエージェントは、ターゲットから2〜3mの安全な距離を維持し、上空からの視点を得るために負のピッチ角を採用し、方向の最小角度をゼロにしないことで、多様で重複のない視点を確保する。

実験結果

リサーチクエスチョン

• RQ1 分散型MARLフレームワークは、オクルージョンが頻発する動的で混雑した群衆において、複数のアクティブカメラを効果的に協調制御し、高精度な3次元人体ポーズ再構成を実現できるか？
• RQ2 チーム報酬が共有される状況において、個々のエージェントの貢献が隠蔽される3次元再構成システムのクレジット割り当てを、どのように改善できるか？
• RQ3 ワールドダイナミクス学習を統合することで、カメラ制御方策における人間の動きや動的オクルージョンの予測性能がどの程度向上するか？
• RQ4 最適な距離、ピッチ角、角度分布といった、出現するカメラの配置や行動は、トリアングレーションと再構成精度の向上にどのように寄与するか？

主な発見

• 提案手法は、3〜5台のカメラと最大6名の人物を想定した全テストシナリオにおいて、固定カメラおよびアクティブカメラベースラインを上回る3次元人体ポーズ推定精度を達成した。
• CTCR報酬は、個々のエージェントのパフォーマンスとチームの成果を直接結びつけることで、方策の収束を著しく加速し、再構成精度を向上させた。
• カメラエージェントは、ターゲットから2〜3mの安全な距離を維持し、過度な接近や距離の遠ざけを回避する一方で、安全制約を守った。
• エージェントは、上空からの視点を得るための負のピッチ角と、カメラ間の最小角度をゼロにしない戦略的配置を学習し、多様で重複のない視点を確保することで、頑健なトリアングレーションを実現した。
• ワールドダイナミクス学習により、エージェントは人間の動きや動的オクルージョンを予測し、再構成失敗を低減する能動的なカメラ調整を可能にした。
• CTCR機構は、オクルージョンされたカメラを効果的にペナルティ化し、「怠惰なエージェント問題」を軽減し、チーム全体におけるバランスの取れた効果的な協調を実現した。