[論文レビュー] Joint Prediction of Depths, Normals and Surface Curvature from RGB Images using CNNs

Thanuja Dharmasiri, Andrew Spek+1 more|arXiv (Cornell University)|Jun 23, 2017

Robot Manipulation and Learning参考文献 23被引用数 13

ひとこと要約

本論文は、単一のRGB画像から深度、表面法線、表面曲率を同時に予測する新しいCNNベースのマルチタスクフレームワークを提案する。本研究では、初めてRGBデータのみを用いて表面曲率を高精度に推定できることを示した。モデル容量を一定に保ちながら、すべての3つのタスクを同時に学習することで、最先端の性能を達成し、主曲率κ₁のRMS誤差が2.81 m⁻¹、1 m⁻¹のしきい値以内の曲率値の割合が80.3%に達した。

ABSTRACT

Understanding the 3D structure of a scene is of vital importance, when it comes to developing fully autonomous robots. To this end, we present a novel deep learning based framework that estimates depth, surface normals and surface curvature by only using a single RGB image. To the best of our knowledge this is the first work to estimate surface curvature from colour using a machine learning approach. Additionally, we demonstrate that by tuning the network to infer well designed features, such as surface curvature, we can achieve improved performance at estimating depth and normals.This indicates that network guidance is still a useful aspect of designing and training a neural network. We run extensive experiments where the network is trained to infer different tasks while the model capacity is kept constant resulting in different feature maps based on the tasks at hand. We outperform the previous state-of-the-art benchmarks which jointly estimate depths and surface normals while predicting surface curvature in parallel.

研究の動機と目的

• 単一のRGB画像から表面曲率を高精度に推定することを可能にすること。これは、深層学習分野においてこれまで未解決であったタスクである。
• 曲率のような視点不変な幾何的特徴を学習することで、深度および法線推定の性能が向上するかどうかを調査すること。
• 注意深く設計された、手作業で作成されていない特徴が、共同学習時に深層ネットワークの性能を向上させることを示すこと。
• モデル容量を一定に保ちながら予測タスクの数を増やすことで、マルチタスク学習の有効性を検証すること。

提案手法

• 粗い深度、法線、曲率の予測を特徴マップとして用い、より細かい層に渡す2段階のディープラーニングアーキテクチャを採用する。
• 深度、表面法線、主曲率の3つのタスクを同時に最適化するマルチタスク学習の目的関数を用いて、エンドツーエンドでネットワークを学習する。
• 表面曲率はRGB入力から直接予測され、教師データの曲率は深度データの2階微分を用いて計算される。
• 色の勾配、深度の勾配、曲率の大きさを組み合わせたボーダー関数を用いて、セグメンテーションの有効性を定性的に示す。
• 標準的な指標（RMS誤差、中央誤差、しきい値σ以内の予測の割合）を用いて、NYUv2データセット上でモデルを評価する。
• 共有エンコーダとタスク固有のヘッドを用いたフレームワークであり、共同学習戦略が3つのタスク間での特徴学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いて、単一のRGB画像から表面曲率を高精度に予測できるか？
• RQ2 深度、法線、曲率の3つを同時に学習することで、個別に学習する場合と比較して、3つのタスクの性能が向上するか？
• RQ3 曲率のような視点不変な幾何的特徴が、深度および法線推定の精度向上に有用なインダクティブバイアスとして機能するか？
• RQ4 曲率を教師信号として含めることで、ネットワークの一般化性能および特徴表現が向上するか？

主な発見

• 提案された共同モデルは、主曲率κ₁のRMS誤差が2.81 m⁻¹に達し、ベースライン手法（5.56 m⁻¹）および曲率のみのモデル（3.41 m⁻¹）を著しく上回った。
• 共同モデルは、1 m⁻¹のしきい値以内の曲率予測の割合が80.3%に達したのに対し、深度のみのモデルでは44.2%、曲率のみのモデルでは73.2%であった。
• 共同学習フレームワークにより、深度および法線推定の性能が向上し、深度のRMS誤差は6.03 m⁻¹（曲率のみの設定では6.50 m⁻¹）に低下した。
• 曲率予測のうち、0.5 m⁻¹のしきい値以内の割合は72.7%に達し、非平面領域においても高いノイズ耐性と高い精度を示した。
• 定性的なセグメンテーション結果から、予測された深度と曲率を組み合わせることで境界検出性能が向上し、特に壁や深度エッジにおいて、色のみのセグメンテーションを上回った。
• 結果から、手作業で作成されていないが、注意深く設計された特徴（例：曲率）によるネットワークのガイドランスが、表現学習の向上に寄与することが示された。