[論文レビュー] Surface Normals in the Wild

Weifeng Chen, Donglai Xiang+1 more|arXiv (Cornell University)|Apr 10, 2017

Advanced Vision and Imaging参考文献 1被引用数 4

ひとこと要約

本稿では、制約のない画像向けにクラウドソーシングされた表面法線アノテーションを大規模に集めた「Surface Normals in the Wild (SNOW)」データセットを紹介する。また、表面法線を活用して単一画像からの深度推定を向上させる2つの新しい損失関数（角差分と深度微分比較）を提案し、従来手法と比較してNYU DepthおよびSNOWデータセットの両方で、深度品質が顕著に向上することを示している。

ABSTRACT

We study the problem of single-image depth estimation for images in the wild. We collect human annotated surface normals and use them to train a neural network that directly predicts pixel-wise depth. We propose two novel loss functions for training with surface normal annotations. Experiments on NYU Depth and our own dataset demonstrate that our approach can significantly improve the quality of depth estimation in the wild.

研究の動機と目的

• 制約のないシーンにおける深度推定において、相対的深度アノテーションが表面幾何や知覚的忠実性を捉えることの限界を解消すること。
• 多様で現実世界の画像向けに実用的な表面法線アノテーションのクラウドソーシング手法を開発すること。
• 表面法線アノテーションを教師信号として用いて、メトリック深度予測用の深層畳み込みニューラルネットワークを学習すること。
• 実画像および合成データセットの両方で、表面法線監視の有効性が深度推定品質に与える影響を評価すること。

提案手法

• 被験者が仮想の矢印と接平面を調整することで表面法線を推定できるユーザインタフェースを設計し、実世界の画像に対する信頼性の高い表面法線のクラウドソーシングを可能にした。
• Flickrの画像から60,061件の表面法線アノテーションを収集し、学習および評価用にSNOWデータセットを構築した。
• 予測された表面法線と正例との間の角度を最小化することで幾何的忠実性を向上させる、新しい角差分損失を提案した。
• 予測深度の微分と正例の法線から導出される微分を比較する深度微分に基づく損失を考案し、深度の不連続性の正確性を向上させた。
• 表面法線監視と標準的な深度監視の両方を組み合わせて深層畳み込みネットワークを学習し、アブレーションスタディによりトレードオフを評価した。
• 多様で制約のないシーンに適応するため、SNOWデータセット上でモデルをファインチューニングした。その結果、一般化性能と表面法線の精度が向上したことが示された。

実験結果

リサーチクエスチョン

• RQ1 人によるクラウドソーシングで得た表面法線アノテーションは、制約のない現実世界の画像における深度推定を改善できるか？
• RQ2 連続性や曲率といった知覚的に重要な3次元幾何を捉える観点で、表面法線アノテーションは相対的深度アノテーションと比べてどのように優れているか？
• RQ3 表面法線監視における角差分損失と深度微分に基づく損失の相対的な利点は何か？
• RQ4 真の深度が入手不可能な状況でも、表面法線監視は深度予測性能を顕著に向上させられるか？
• RQ5 SNOWデータセット上でファインチューニングすることで、制約のない画像への一般化性能はどの程度向上するか？

主な発見

• 提案された表面法線に基づく損失関数は、NYU Depthデータセットにおける深度推定品質を顕著に向上させた。特に最良のモデル（d_n_al_F）は、Wang [31] よりも角度距離およびしきい値内パーセンテージという指標で最先端の手法を上回った。
• d_n_al_FモデルをSNOWデータセットでファインチューニングした（d_n_al_F_SNOW）結果、平均角誤差が25.75°に低下し、11.25°以内の法線の割合が21.66%向上、30°以内の法線の割合が67.88%向上した。これは、実世界のシーンへの強い一般化性能を示している。
• SNOWデータセットのみで学習したモデル（Ours_NYU_SNOW§）は、平均角誤差23.33°、30°以内の法線の割合が72.74%を達成し、SNOWベンチマークにおける最先端の表面法線推定モデルを上回った。
• 深度微分に基づく損失は、深度の不連続性の維持に優れていた一方、角損失は表面の向きの忠実性をよりよく保持していた。これは、応用分野に応じた異なるトレードオフがあることを示している。
• SNOWデータセットは、効果的な転移学習を可能にし、SNOWでファインチューニングされたモデルは、ベースラインモデルと比較して表面法線予測精度が著しく向上した。
• 図7の定性的な結果から、提案手法は多様で制約のない画像において、より知覚的に忠実な深度予測を生成することが明らかになった。