[論文レビュー] Surface Normal Estimation of Tilted Images via Spatial Rectifier

Tien Do, Khiem Vuong+2 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Vision and Imaging参考文献 41被引用数 4

ひとこと要約

本稿では、傾きのあるRGB画像を、表面法線推定性能が重力に揃った訓練データと同等になるよう歪みを補正する空間的補正ネットワークを提案する。合成された傾きのある画像を用いて補正ネットワークと法線推定器を同時に学習させるとともに、一般化性能を向上させるために切り捨てられた角度損失（truncated angular loss）を導入することで、ScanNet、NYUv2、および大きなカメラロール・ピッチを持つ新しいTilt-RGBDデータセットにおいて最先端の精度を達成した。また、先行モデルと比較してFLOPSを70%削減した。

ABSTRACT

In this paper, we present a spatial rectifier to estimate surface normals of tilted images. Tilted images are of particular interest as more visual data are captured by arbitrarily oriented sensors such as body-/robot-mounted cameras. Existing approaches exhibit bounded performance on predicting surface normals because they were trained using gravity-aligned images. Our two main hypotheses are: (1) visual scene layout is indicative of the gravity direction; and (2) not all surfaces are equally represented by a learned estimator due to the structured distribution of the training data, thus, there exists a transformation for each tilted image that is more responsive to the learned estimator than others. We design a spatial rectifier that is learned to transform the surface normal distribution of a tilted image to the rectified one that matches the gravity-aligned training data distribution. Along with the spatial rectifier, we propose a novel truncated angular loss that offers a stronger gradient at smaller angular errors and robustness to outliers. The resulting estimator outperforms the state-of-the-art methods including data augmentation baselines not only on ScanNet and NYUv2 but also on a new dataset called Tilt-RGBD that includes considerable roll and pitch camera motion.

研究の動機と目的

• 重力に揃った訓練データと異なる姿勢でテストする際の表面法線推定性能の低下を、ドメインシフトの影響で是正すること。
• 入力画像の表面法線分布を縦向きの訓練データと一致させるためのグローバルな幾何変換（空間的補正ネットワーク）を学習すること。
• 評価指標に近い損失関数を設計し、小さな角度誤差に重点を置いた切り捨てられた角度損失（TAL）を導入することで、学習の収束性とロバスト性を向上させること。
• 拡張畳み込みと大きな受容 field を組み合わせた新規なネットワークアーキテクチャにより、計算コストを削減しながら高い精度を維持すること。

提案手法

• 空間的補正ネットワークは、推定された重力方向と画像の主方向に基づきパrameter化され、入力画像の表面法線分布を訓練データと一致させるホモロジーに類似した変換を学習する。
• 補正ネットワークは合成データ生成によりエンドツーエンドで学習される：重力方向と主方向から誘導される一連のホモロジーを用いて、ScanNetデータセットから傾きのある画像をシミュレートする。
• 切り捨てられた角度損失（TAL）を導入し、小さな角度誤差（7.5°未満）に対して強い勾配を提供するとともに、外れ値に対してロバストである。これはL2損失と角度評価指標の不一致を是正する。
• デコーダー部に拡張畳み込みを組み込み、FLOPSを増加させることなく受容 field を拡大することで、ResNeXt-101のような大規模モデルを低コストで実装可能にする。
• 本手法は、顕著なロール・ピッチ運動を伴うTilt-RGBDという新しいデータセットを含め、ScanNet、NYUv2、および多様なカメラ姿勢に対して評価され、高いロバスト性を示した。
• パイプライン全体を共同で学習：空間的補正ネットワークと法線推定器は、合成された傾きのある画像を用いて同時に最適化され、ドメイン不変な特徴抽出が可能になった。

実験結果

リサーチクエスチョン

• RQ1 学習された空間的変換は、傾きのあるテスト画像と重力に揃った訓練データとの間のドメインギャップを、表面法線推定の観点で効果的に是正できるか？
• RQ2 小さな角度誤差に重点を置いた切り捨てられた角度損失（TAL）は、標準的な評価指標におけるモデルの一般化性能と性能を向上させるか？
• RQ3 デコーダー部に拡張畳み込みを適用することで、FLOPS やメモリ消費量を増加させることなく、受容 field とモデルの表現力が向上するか？
• RQ4 本手法は、高傾きカメラ姿勢を伴うデータセット（例：Tilt-RGBD）において、最先端の手法やデータ拡張ベースラインと比較してどのように性能を発揮するか？
• RQ5 空間的補正ネットワークは、傾き角度の明示的な教師信号がなくても、大きなロール・ピッチ角を含む多様なカメラ姿勢に一般化可能か？

主な発見

• 本手法は、ScanNetとNYUv2で最先端の性能を達成し、それぞれ平均角度誤差が15.0°および16.2°にまで低下し、FrameNet や VPLNet を上回った。
• 大きなロール・ピッチを伴う新しいTilt-RGBDデータセットにおいて、ScanNetでは11.25°と22.5°の閾値で80.0%および85.2%の精度を達成し、NYUv2では22.5°閾値で77.1%の精度を達成した。これは、傾きに対して高いロバスト性を示している。
• 切り捨てられた角度損失（TAL）は、きつい閾値（例：5°および7.5°）での性能を向上させ、NYUv2では7.5°以内のピクセルが50.2%、5°以内が34.2%にまで向上した。L2損失や通常の角度損失を上回った。
• ResNeXt-101バックボーンを搭載したDFPN+TAL+SRモデルは、DORNと比較してFLOPSを70%削減し、GTX 1660で30FPSの推論速度を達成しながらも高い精度を維持した。
• 空間的補正ネットワークは、代表されない法線領域（図1のd, e, f）の推定誤差を、密集して表現された領域（d', e', f'）に変換することで顕著に低減させ、傾きのある画像における予測品質を大幅に向上させた。
• 本手法は、データ拡張ベースラインや最先端モデルをすべての指標で上回り、ScanNetでは30°閾値で69.3%、NYUv2では83.9%の精度を達成した。FLOPSとメモリ使用量も低く抑えられた。