[論文レビュー] RegNet: Learning the Optimization of Direct Image-to-Image Pose Registration

Lei Han, Mengqi Ji+2 more|arXiv (Cornell University)|Dec 26, 2018

Advanced Vision and Imaging参考文献 33被引用数 14

ひとこと要約

RegNetは、直接的な画像対画像のポーズ登録のためのエンド・ツー・エンドのディープラーニングフレームワークを提案し、特徴表現とヤコビ行列を同時に学習することで、手作業で設計された数値的ヤコビ行列の代わりに学習された偏微分を用いる。この共同最適化により、特に大基準差を持つ画像ペアにおいて、より高速でより頑健な収束が可能となり、優れたアライメント精度を達成し、初期再投影誤差が30%を超える状況でも40%の成功率を達成する。従来手法を上回る性能を発揮する。

ABSTRACT

Direct image-to-image alignment that relies on the optimization of photometric error metrics suffers from limited convergence range and sensitivity to lighting conditions. Deep learning approaches has been applied to address this problem by learning better feature representations using convolutional neural networks, yet still require a good initialization. In this paper, we demonstrate that the inaccurate numerical Jacobian limits the convergence range which could be improved greatly using learned approaches. Based on this observation, we propose a novel end-to-end network, RegNet, to learn the optimization of image-to-image pose registration. By jointly learning feature representation for each pixel and partial derivatives that replace handcrafted ones (e.g., numerical differentiation) in the optimization step, the neural network facilitates end-to-end optimization. The energy landscape is constrained on both the feature representation and the learned Jacobian, hence providing more flexibility for the optimization as a consequence leads to more robust and faster convergence. In a series of experiments, including a broad ablation study, we demonstrate that RegNet is able to converge for large-baseline image pairs with fewer iterations.

研究の動機と目的

• 光度誤差の最小化を用いた直接的な画像対画像ポーズ登録における収束範囲の制限と初期値への感受性を解決する。
• 初期アライメントが悪い状況下で数値的ヤコビ行列の不正確さを克服するため、特徴表現と共にヤコビ行列をエンド・ツー・エンドで学習する。
• 最適化中に特徴空間とヤコビ行列行列を制約することで、最適化の頑健性と収束速度を向上させる。
• ポーズ登録のための特徴表現と勾配計算を同時に最適化するニューラルネットワークのエンド・ツー・エンド学習を可能にする。
• 大基準差を持つ画像ペアや初期値が悪い状況でも挑戦的であるが、性能を優れたものに示す。

提案手法

• 入力画像ペアから各ピクセルの特徴マップとヤコビ行列を同時に予測する新しいニューラルネットワークアーキテクチャ、RegNetを提案する。
• 従来の数値微分の代わりに、空間的文脈を捉えるために広い受容野を持つ学習されたヤコビアンネットワークを採用する。
• Levenberg-Marquardt最適化ループに学習されたヤコビアンを統合し、ポーズ精錬のための勾配更新を計算する。
• 再投影誤差を教師信号として用い、エンド・ツー・エンドで特徴と導関数を同時に最適化する。
• 特徴計量とその偏微分を学習することでエネルギー関数の形状を制約し、より最適化しやすいコスト関数を実現する。
• 深度推定を初期ポーズの事前知識として用い、その後、学習された最適化ダイナミクスを用いて反復的に相対変換を精錬する。

実験結果

リサーチクエスチョン

• RQ1 特徴表現とヤコビ行列の共同学習は、直接的な画像対画像ポーズ登録における収束範囲の拡大に寄与するか？
• RQ2 数値的ヤコビアンを学習された偏微分に置き換えることで、より高速でより頑健な最適化が達成できるか？
• RQ3 特に大基準差を持つ画像ペアにおいて、初期アライメントが悪い状況下で本手法はどのように性能を発揮するか？
• RQ4 最適化プロセスをエンド・ツー・エンドで学習することで、分離された特徴学習と数値微分に比べて、より優れたアライメント精度が得られるか？
• RQ5 学習されたヤコビアンはエネルギー関数の形状にどのような影響を及ぼし、収束速度と頑健性にどのように寄与するか？

主な発見

• RegNetは、初期再投影誤差が30%を超える画像ペアの登録において40%の成功率を達成し、このような条件下では完全に失敗する従来手法と比べて顕著に優れた性能を示す。
• RegNetは従来手法よりも再投影誤差をより効果的に低減し、誤差の累積分布関数がすべての閾値で最小の誤差を示す。
• 特徴とヤコビアンの共同学習により、収束がより速くなり、高精度なアライメントに到達するための最適化反復回数が減少する。
• 学習された特徴と数値的ヤコビアンを用いたベースラインと比較して、RegNetは高精度アライメントにおいて優れた性能を示しており、特徴の過剰な平滑化が少ないことが示唆される。
• 悪い初期値からでも、学習されたヤコビアンはより良い勾配方向を提供し、より安定的かつ正確な最適化軌道を実現する。
• 定性的な結果から、RegNetはDemonと比較して、より軽い光度誤差マップを生成しており、優れた画像アライメント品質を示している。