[論文レビュー] Neural Non-Rigid Tracking

Bo\v{z}i\v{c}, Alja\v{z}, Pablo Palafox+4 more|arXiv (Cornell University)|Jun 23, 2020

Photoacoustic and Ultrasonic Imaging被引用数 19

ひとこと要約

本稿では、非剛性RGB-Dトラッキングのためのエンドツーエンド微分可能フレームワーク「Neural Non-Rigid Tracking」を提案する。このフレームワークは、密な対応関係予測と不確実性重み付けを同時に学習する。微分可能ガウス・ニュートンソルバーを通じて勾配を逆伝播することで、自己教師付きの外れ値除外が可能となり、従来の学習ベース手法と比較して85倍高速な推論（1フレームあたり27 ms）を達成するとともに、最先端の再構成精度を実現した。

ABSTRACT

We introduce a novel, end-to-end learnable, differentiable non-rigid tracker that enables state-of-the-art non-rigid reconstruction by a learned robust optimization. Given two input RGB-D frames of a non-rigidly moving object, we employ a convolutional neural network to predict dense correspondences and their confidences. These correspondences are used as constraints in an as-rigid-as-possible (ARAP) optimization problem. By enabling gradient back-propagation through the weighted non-linear least squares solver, we are able to learn correspondences and confidences in an end-to-end manner such that they are optimal for the task of non-rigid tracking. Under this formulation, correspondence confidences can be learned via self-supervision, informing a learned robust optimization, where outliers and wrong correspondences are automatically down-weighted to enable effective tracking. Compared to state-of-the-art approaches, our algorithm shows improved reconstruction performance, while simultaneously achieving 85 times faster correspondence prediction than comparable deep-learning based methods. We make our code available.

研究の動機と目的

• 単一のRGB-Dカメラからのリアルタイムで頑健な非剛性トラッキングを実現するための挑戦に応えること。従来の最適化手法は脆く、深層学習手法は計算コストが高いため。
• 自己教師付きの方法で対応関係の信頼性を学習することで、外れ値や誤った対応の影響を低減し、再構成精度を向上させること。
• 最適化プロセスを微分可能にすることで、非剛性トラッカーのエンドツーエンド学習を可能にし、勾配が対応関係予測と信頼性重み付けの両方に影響を与えるようにすること。
• DeepDeformなどの最先端手法と同等またはそれ以上の再構成品質を維持しながら、リアルタイム性能を達成すること。

提案手法

• 本手法は、ソースとターゲットのRGB-Dフレーム間の密な2次元対応関係を用いて、非剛性トラッキングを、可能な限り剛性に近い（ARAP）最適化問題として定式化する。
• 微分可能ガウス・ニュートンソルバーにより、非線形最小二乗最適化の過程を逆伝播可能とし、勾配がニューラル対応関係予測器に伝わるよう実装する。
• ネットワークは、対応関係とその信頼性重みを同時に予測し、エンドツーエンドの整合性誤差を最小化する自己教師付き損失関数により最適化される。
• 損失関数は、対応関係損失（Lcorr）、グラフ正則化（Lgraph）、ワープ整合性（Lwarp）を組み合わせており、信頼性重みは微分可能最適化からの勾配フィードバックにより学習される。
• 本フレームワークは、DynamicFusionのようなボリュメトリック再構成パイプラインと統合可能であり、学習された変形場を用いて深度観測を標準的な3次元グリッドに統合する。
• マルチステージ戦略を用いてエンドツーエンドで学習する：まず固定された信頼性重みで対応関係ネットワークを事前学習し、その後、ネットワークと信頼性パrameterを同時に微調整する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド微分可能最適化により、対応関係予測ネットワークへの勾配フィードバックが非剛性トラッキング性能の向上に寄与するか？
• RQ2 自己教師付きの信頼性重み付けは、ノイズや遮蔽状況下でも、教師ありまたは固定重み付けを上回る頑健性を実現できるか？
• RQ3 微分可能非剛性トラッカーは、DeepDeformなどの最先端手法と比較して、リアルタイム性能を維持または向上させながら再構成精度を確保できるか？
• RQ4 対応関係予測と信頼性重み付けの共同最適化は、トラッキング誤差をどれほど低減し、再構成忠実度を向上させ得るか？

主な発見

• 提案手法は、DeepDeform（1フレームあたり2299 ms）と比較して85倍高速な対応関係予測（1フレームあたり27 ms）を達成し、インタラクティブな再構成レートを実現した。
• 自己教師付き信頼性重み付けとエンドツーエンド学習により、DeepDeformベンチマーク上での変形誤差が28.72 mmに低減され、前回の最先端手法比で8.9%の改善を達成した。
• 微分可能最適化と自己教師付き信頼性学習の組み合わせにより、幾何誤差が4.03 mmにまで低減され、前回の最先端手法（4.16 mm）を上回った。
• アブレーションスタディの結果、微分可能最適化と自己教師付き信頼性重み付けの両方が不可欠であることが確認され、いずれかを無効化すると顕著な性能低下が生じた。
• 高速な運動や遮蔽状況下でも、Qualitativeな比較においてDynamicFusion や DeepDeform を上回る優れた頑健性を示した。
• 自己教師付き信頼性学習戦略は、バイナリクロスエントロピーの教師あり学習に比べ、最適化プロセスからの勾配が信頼性ネットワークをより効果的に指導するため、優れた性能を発揮した。