[論文レビュー] Eigendecomposition-free Training of Deep Networks with Zero Eigenvalue-based Losses

Zheng Dang, Kwang Moo Yi+4 more|arXiv (Cornell University)|Mar 21, 2018

Robotics and Sensor-Based Localization参考文献 31被引用数 6

ひとこと要約

本論文は、ネットワークが予測する行列のゼロ固有値に対応する固有ベクトルに基づく損失を用いて、特徴分解を必要としない深層ネットワークの学習手法を提案する。明示的なSVD/ED計算を避ける微分可能損失を定式化することで、安定した収束性を達成し、キーポoinマッチングおよびPnPに基づく3次元ポーズ推定において最先端の性能を発揮する。従来の微分可能特徴分解に依存する手法は、数値的不安定性のため収束に失敗することが多いが、本手法はその問題を回避する。

ABSTRACT

Many classical Computer Vision problems, such as essential matrix computation and pose estimation from 3D to 2D correspondences, can be solved by finding the eigenvector corresponding to the smallest, or zero, eigenvalue of a matrix representing a linear system. Incorporating this in deep learning frameworks would allow us to explicitly encode known notions of geometry, instead of having the network implicitly learn them from data. However, performing eigendecomposition within a network requires the ability to differentiate this operation. Unfortunately, while theoretically doable, this introduces numerical instability in the optimization process in practice. In this paper, we introduce an eigendecomposition-free approach to training a deep network whose loss depends on the eigenvector corresponding to a zero eigenvalue of a matrix predicted by the network. We demonstrate on several tasks, including keypoint matching and 3D pose estimation, that our approach is much more robust than explicit differentiation of the eigendecomposition, It has better convergence properties and yields state-of-the-art results on both tasks.

研究の動機と目的

• 幾何的制約を扱う際、微分可能特徴分解を用いる場合に生じる数値的不安定性と収束不能の問題を解決すること。
• SVDや固有値分解を明示的に行わず、固有ベクトルに基づく損失を直接組み込むことで、本質的行列やPnP解といった幾何的事前知識のエンドツーエンド学習を可能にすること。
• 固有値が正確にゼロでない場合や最適化中に固有ベクトルの対応付けが入れ替わる場合でも、安定に動作する完全な微分可能で頑健な損失関数を開発すること。
• キーポイントマッチングおよび3次元ポーズ推定タスクにおいて、標準的な微分可能特徴分解アプローチに比べ、収束性と性能が優れていることを実証すること。

提案手法

• ネットワークが予測する行列の核空間（null space）に基づく損失関数を定式化し、ゼロ固有値に対応する固有ベクトルが真値と一致するように保証するが、特徴分解を計算しない。
• 行列の疑似逆行列を用いた微分可能な核空間制約の近似を用い、明示的なSVDや固有値分解を回避する。
• 行列によって定義される線形方程式系の残差に基づく損失を導出する。核空間内のベクトルのノルムを最小化することで、望ましい固有ベクトルに対応する。
• 実世界の測定では固有値が正確にゼロにならないことが多いため、ノイズや近似的なゼロ固有値に対しても頑健である。
• 疑似逆行列および行列演算を逆誤差伝搬可能にすることで、深層学習フレームワークに統合し、完全な微分可能性を確保する。
• キーポイントマッチングおよびPnP問題に適用し、ネットワークが対応点の重みを予測し、損失関数によって得られる行列の核空間が真値の幾何的解と一致するように制御する。

実験結果

リサーチクエスチョン

• RQ1 微分可能特徴分解に依存せずに、核空間が望ましい幾何的解に対応する行列を出力できるように深層ネットワークを学習可能か？
• RQ2 明示的な特徴分解を回避することで、幾何的ディープラーニングタスクにおける最適化がより安定的かつ収束性を向上させられるか？
• RQ3 行列の核空間に基づく微分可能損失は、キーポイントマッチングおよびPnPタスクにおいて、標準的な特徴分解ベースの損失に比べ、収束性と精度で優れているか？
• RQ4 実世界の測定におけるノイズや近似的なゼロ固有値に対して、提案手法はどれほど頑健か？

主な発見

• 提案手法の特徴分解フリーな損失は安定に収束し、キーポイントマッチングタスクで最先端の性能を達成する。微分可能特徴分解を用いる手法は収束に失敗することが多く、本手法がそれを上回る。
• PnPタスクにおいて、最大130個の外れ値（全マッチの65％）が存在する状況でも、回転および並進誤差がほぼゼロに近づき、REPPnPや他のベースラインに比べ顕著に優れている。
• 図7に示すように、明示的特徴分解に基づく損失は収束に失敗したが、本手法の損失は滑らかに収束し、低誤差値に到達した。
• 本手法はノイズや近似的なゼロ固有値に対しても頑健である。これは、正確なゼロ固有値を必要としないため、正しい動作を維持できるためである。
• キーポイントマッチングおよびPnPタスクの両方において、EPnP、OPnP、PPnP、RPnP、REPPnPといった現代的なPnPソルバーに比べ、特に外れ値比率が高い状況で優れた結果を達成した。