[論文レビュー] Spherical Regression: Learning Viewpoints, Surface Normals and 3D Rotations on n-Spheres

Shuai Liao, Efstratios Gavves+1 more|arXiv (Cornell University)|Apr 10, 2019

Robotics and Sensor-Based Localization参考文献 34被引用数 4

ひとこと要約

本稿では、指数正規化を用いて視点、表面法線、3次元回転をn次球面上でモデル化することで、3次元方向の学習のための球面回帰を提案する。標準的なℓ₂正規化に代えて指数関数による球面正規化を採用することで、汎化性能と真値との整合性が向上し、Pascal3D+およびModelNet10-SO3ベンチマークにおいて、視点推定、表面法線予測、3次元回転回帰の各タスクで最先端の性能を達成した。

ABSTRACT

Many computer vision challenges require continuous outputs, but tend to be solved by discrete classification. The reason is classification's natural containment within a probability $n$-simplex, as defined by the popular softmax activation function. Regular regression lacks such a closed geometry, leading to unstable training and convergence to suboptimal local minima. Starting from this insight we revisit regression in convolutional neural networks. We observe many continuous output problems in computer vision are naturally contained in closed geometrical manifolds, like the Euler angles in viewpoint estimation or the normals in surface normal estimation. A natural framework for posing such continuous output problems are $n$-spheres, which are naturally closed geometric manifolds defined in the $\mathbb{R}^{(n+1)}$ space. By introducing a spherical exponential mapping on $n$-spheres at the regression output, we obtain well-behaved gradients, leading to stable training. We show how our spherical regression can be utilized for several computer vision challenges, specifically viewpoint estimation, surface normal estimation and 3D rotation estimation. For all these problems our experiments demonstrate the benefit of spherical regression. All paper resources are available at https://github.com/leoshine/Spherical_Regression.

研究の動機と目的

• 深層畳み込みニューラルネットワークを用いた連続的な3次元方向（視点、法線、回転）の学習の課題に取り組む。
• 球面多様体上の回帰タスクにおける標準的なℓ₂正規化の限界を克服する。
• 指数正規化を用いて予測値をn次球面上にモデル化することで、汎化性能と真値との整合性を向上させる。
• Pascal3D+、NYUv2、ModelNet10-SO3の複数の3次元方向予測ベンチマークで一貫した性能向上を実証する。
• 球面正規化のヤコビアンの理論的導出を提供し、学習安定性と勾配の流れを支援する。

提案手法

• 標準的なℓ₂正規化に代わる球面正規化モジュール $ S_{\text{exp}}^n $ を提案し、出力をn次球面上にマップする。
• 正規化層で活性化関数 $ f(o_i) = e^{o_i} $ を用いることで、予測値にスパarsityと方向性の優位性を強制する。
• 球面正規化層の解析的ヤコビアンを $ \boldsymbol{J}_{\text{exp}} = (\boldsymbol{I} - \boldsymbol{P} \boldsymbol{P}^T) \text{diag}(\boldsymbol{P}) $ として導出することで、安定なバックプロパゲーションを可能にする。
• バックボーンネットワーク（例：ResNet101 や VGG16）の後にプラグインヘッドとして球面正規化モジュールを統合し、エンドツーエンド学習を実現する。
• 3つのタスクに本手法を適用：視点推定（オイラー角）、表面法線予測（NYUv2上）、3次元回転回帰（ModelNet10-SO3上でのクaternion表現）。
• 絶対値予測（離散的なビンに対するソフトマックス）と符号予測の2ヘッド構造を採用することで、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的なℓ₂正規化と比較して、球面正規化は3次元方向予測タスクにおける深層ニューラルネットワークの汎化性能と真値との整合性を向上させるか？
• RQ2 Pascal3D+における細分化された角度指標を用いた視点推定タスクにおいて、提案された $ S_{\text{exp}}^1 $ 正規化はどのように性能を発揮するか？
• RQ3 滑らかさにやや劣るものの、球面回帰は滑らかさを犠牲にせず、表面法線予測において滑らかさに劣るベースラインと比較して、より鋭い境界を維持できるか？
• RQ4 対称的な物体に対して、球面正規化は3次元回転推定の精度をどの程度向上させるか？
• RQ5 球面正規化のヤコビアンが勾配の流れに与える理論的影響は何か？

主な発見

• Pascal3D+では、提案された $ S_{\text{exp}}^1 $ モジュールが Acc@π/6 を 88.2%（Penedonesらの83.6%から上回る）に向上させ、全カテゴリで一貫した向上を示した。MedErrは9.2°（対照群11.6°）に改善した。
• NYUv2上での表面法線推定において、球面回帰手法はZhangら[9]の手法よりも鋭い境界を生成し、わずかに滑らかさに欠けるものの、より多くの幾何的詳細を保持した。
• ModelNet10-SO3では、$ S_{\text{exp}}^3 $ が平坦なVGG16回帰より3次元回転推定の精度を向上させ、特に浴槽や机などの対称的物体において高い Acc@π/6 を達成した。
• 車両ではクラスワイドな Acc@π/6 が93%、機体では98%を達成し、特に困難なカテゴリにおいても先行手法を上回った。
• 理論的分析により、$ \boldsymbol{J}_{\text{exp}} = (\boldsymbol{I} - \boldsymbol{P} \boldsymbol{P}^T) \text{diag}(\boldsymbol{P}) $ が $ \boldsymbol{J}_{\text{flat}} $ よりも優れた勾配挙動を示すことが確認され、学習安定性の向上を裏付けた。
• 球面回帰モジュールは、評価されたすべてのタスクおよびベンチマークで一貫して性能を向上させ、3次元幾何学的学習への広範な適用可能性を示した。