[論文レビュー] Designing Deep Networks for Surface Normal Estimation

Xiaolong Wang, David F. Fouhey+1 more|arXiv (Cornell University)|Nov 18, 2014

Advanced Vision and Imaging参考文献 33被引用数 30

ひとこと要約

本稿では、マンハッタン・ワールド制約、ルームレイアウト、エッジラベル付けといった3次元シーン理解の知見を3ストリームネットワーク（トップダウン・ボトムアップ・ファージョン）に統合することで、単一画像からの表面法線推定のための新規CNNアーキテクチャを提案する。この手法は、微調整なしにNYUおよびB3DOデータセットで先行研究を上回る最先端の性能を達成し、標準の順方向ネットワークと比較して平均誤差を7–8%低減する。

ABSTRACT

In the past few years, convolutional neural nets (CNN) have shown incredible promise for learning visual representations. In this paper, we use CNNs for the task of predicting surface normals from a single image. But what is the right architecture we should use? We propose to build upon the decades of hard work in 3D scene understanding, to design new CNN architecture for the task of surface normal estimation. We show by incorporating several constraints (man-made, manhattan world) and meaningful intermediate representations (room layout, edge labels) in the architecture leads to state of the art performance on surface normal estimation. We also show that our network is quite robust and show state of the art results on other datasets as well without any fine-tuning.

研究の動機と目的

• 深層学習アーキテクチャに確立された3次元シーン理解の原則を統合することで、単一画像からの表面法線推定を向上させること。
• 純粋なエンドツーエンドの深層ネットワークの限界を補うために、トップダウンの文脈的推論とボトムアップの局所的キューを統合すること。
• 直交性や消失点といった幾何的制約、およびレイアウトやエッジタイプといった中間表現を統合することで、性能とロバスト性が向上することを示すこと。
• 微調整なしに異なるデータセット間で一般化できることを示し、モデルのロバスト性と転送可能性を検証すること。

提案手法

• トップダウンネットワーク（粗いレイアウトと消失点推定）、ボトムアップネットワーク（局所的パッチレベルの法線とエッジ予測）、ファージョンネットワーク（統合）からなる3ストリームアーキテクチャを設計する。
• ファージョンネットワークでマンハッタン・ワールド仮説を適用し、直交する表面法線を強制するとともに、消失点を監視信号として用いる。
• トップダウンネットワークでルームレイアウトを構造的事前知識として用い、離散的クラス予測を伴う内側から外側へのボックスとしてのシーンモデルを構築する。
• ファージョンネットワークにエッジラベル（凸、凹、隠蔽）を補助入力として統合し、境界の正確性を向上させる。
• 出力確率に基づいてコードワードの重みを付けるソフトデコーディング方式を採用し、平均誤差およびRMSEの最適化をより良く行う。
• レイアウト、エッジ、消失点からのマルチタスク監視を用いて、ファージョンネットワークを教師あり回帰損失に基づきエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 マンハッタン・ワールド制約やルームレイアウトといった古典的な3次元シーン理解の事前知識を統合することで、深層学習ベースの表面法線推定が向上するか？
• RQ2 トップダウンの文脈的推論とボトムアップの局所的特徴学習を統合することで、単体のネットワークよりも性能が向上するか？
• RQ3 エッジラベル（凸、凹、隠蔽）は、表面法線予測の正確性をどの程度向上させるか？
• RQ4 あるデータセットで学習したモデルが、視認条件やシーンタイプが異なる別のデータセットに微調整なしに適応可能か？

主な発見

• 完全なファージョンネットワークは、NYUデータセットで平均誤差24.2°、中央値誤差17.3°を達成し、標準の順方向ネットワークと比較して7–8%の改善を示す。
• レイアウト、エッジ、消失点を個別に追加することで性能が向上し、完全なファージョンモデルではRMSEが32.2°、11.25°の誤差が36.8%に低下する。
• B3DOデータセットに対しても良好な一般化性能を示し、平均誤差34.5°を達成し、3DP(MW) [6]（38.0°）やHedauら[11]（43.5°）といった先行手法を上回る。
• ソフトデコーディング方式は、再訓練を要せず、標準デコーディングと比較して平均誤差を0.8°、RMSEを3.7°改善する。
• 定性的な結果では、テーブルの脚やカーブしたソファーの表面といった細部を捉えており、トップダウンとボトムアップの予測を統合することで、テクスチャの欠片な領域の誤分類が低減されている。
• Eigenら[5]の粗いネットワークですら、提案されたファージョンネットワークに劣る性能を示しており、単純な回帰よりもアーキテクチャ統合の価値が示されている。