[論文レビュー] Bilevel Online Adaptation for Out-of-Domain Human Mesh Reconstruction

Shanyan Guan, Jingwei Xu+3 more|arXiv (Cornell University)|Mar 30, 2021

Human Pose and Action Recognition参考文献 61被引用数 4

ひとこと要約

本稿では、2次元キーポイント再投影誤差と時間的整合性制約を二段階最適化によって統合的に最適化することで、ドメイン外のストリーミング動画に事前学習済みの人体メッシュ再構築モデルを適応させる、新しい手法Bilevel Online Adaptation (BOA) を提案する。BOA は 3D の曖昧性を低減し、個々のフレームへの過剰適合を防ぐことで、3DPW および MPI-INF-3DHP ベンチマークで最先端の性能を達成する。

ABSTRACT

This paper considers a new problem of adapting a pre-trained model of human mesh reconstruction to out-of-domain streaming videos. However, most previous methods based on the parametric SMPL model \cite{loper2015smpl} underperform in new domains with unexpected, domain-specific attributes, such as camera parameters, lengths of bones, backgrounds, and occlusions. Our general idea is to dynamically fine-tune the source model on test video streams with additional temporal constraints, such that it can mitigate the domain gaps without over-fitting the 2D information of individual test frames. A subsequent challenge is how to avoid conflicts between the 2D and temporal constraints. We propose to tackle this problem using a new training algorithm named Bilevel Online Adaptation (BOA), which divides the optimization process of overall multi-objective into two steps of weight probe and weight update in a training iteration. We demonstrate that BOA leads to state-of-the-art results on two human mesh reconstruction benchmarks.

研究の動機と目的

• カメラパrameter、ボーン長、背景、オクルージョンの差異を含むドメインギャップが生じるドメイン外のストリーミング動画データに対して、事前学習済みの人体メッシュ再構築モデルを適応させる課題に対処すること。
• オンライン適応における2次元キーポイント再投影誤差と3D 評価指標（例：MPJPE）の乖離を軽減すること。
• 個々のフレームへの過剰適合を防ぎながら、ストリーミング動画シーケンスにおける時間的整合性を維持すること。
• オンラインモデル適応中に競合する目的（2次元キーポイント制約と時間的滑らかさ）の矛盾を解消すること。
• 3D アノテーションが利用不可な状況下でも、未観測のテストドメインに対して効果的かつリアルタイムにソースモデルを適応可能にすること。

提案手法

• BOA は二段階最適化フレームワークを採用する：下位段階では、1フレームごとの2次元キーポイント再投影誤差を用いて重みプローブを実行し、現在のフレームに対するモデルパラメータを精緻化する。
• 上位段階では、2階微分勾配を用いてモデルパラメータを更新し、2次元および時間的制約を統合することで、フレーム間の整合性を確保する。
• 時間的制約は、メッシュシーケンスに対する滑らかさ正則化によって実装され、奥行きの曖昧性を低減し、3次元再構築品質を向上させる。
• 本手法は、新しい動画フレームが到着するたびにリアルタイムでモデルを動的に適応させ、3D データが不要な状態でドメインシフトに強く対応する。
• 訓練の安定化のため教師モデルが用いられ、各イテレーション内でプローブと更新のステップを交互に実行する。
• 2次元と時間的目的の間で生じる対立を解消するため、最適化を2つの明確な段階に分離することで、バランスの取れた学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 二段階最適化は、過剰適合を防ぎつつ、オンラインメッシュ再構築において2次元キーポイント制約と時間的滑らかさのバランスを効果的にとれるか？
• RQ2 BOA は、ドメイン外設定において2次元キーポイント損失と3次元 MPJPE 評価指標の乖離をどの程度低減するか？
• RQ3 エンドツーエンドのファインチューニングや統合損失手法と比較して、BOA は大きなドメインギャップを有するストリーミング動画データにおける一般化性能をどの程度向上させるか？
• RQ4 上位段階最適化における2階微分勾配の使用は、個々のフレームへの過剰適合を防ぎつつ時間的整合性を維持するか？
• RQ5 推論時に3D アノテーションが利用不可であっても、BOA は 3DPW や MPI-INF-3DHP のようなベンチマークで最先端の性能を達成できるか？

主な発見

• BOA は 3DPW および MPI-INF-3DHP ベンチマークの両方で最先端の性能を達成し、ドメイン外のストリーミング再構築において既存手法を上回る。
• 2次元キーポイント損失と3次元 MPJPE の乖離が顕著に低減され、フレーム単位の監視と3次元評価の整合性が向上していることが示された。
• アブレーションスタディにより、特にオクルージョンや複雑なシーンにおける奥行き推定の不確実性に起因する3次元の曖昧性が効果的に緩和されていることが確認された。
• 二段階最適化の導入により、2次元損失への過剰適合を防ぎつつ、正確な1フレームごとのフィッティングにそれらを活用できることが実証された。
• 図7の相関解析により、2次元キーポイント精度が低下することなく、時間的整合性が向上していることが裏付けられた。
• カメラパrameter、ボーン長、背景の複雑さの変動など、多様なドメインシフトに対しても、BOA は頑健な性能を維持した。