[論文レビュー] Learning to Reconstruct 3D Manhattan Wireframes from a Single Image

Yichao Zhou, Haozhi Qi+5 more|arXiv (Cornell University)|May 17, 2019

3D Surveying and Cultural Heritage参考文献 33被引用数 7

ひとこと要約

本論文では、一括された畳み込みニューラルネットワークを用いて、2次元の接合点、線分、深度、消失点を同時に検出することにより、単一のRGB画像から正確な3次元マンハッタンワイヤフレームを再構築する深層学習手法を提案する。本手法は、平行性などのグローバル構造的事前知識を活用して、コン act で幾何学的に整合性のある3次元ワイヤフレーム表現を生成し、合成および実都市シーンにおいて、最先端の2次元ワイヤフレーム検出（4ポイントのAP向上）と、頑健な3次元再構築を達成した。

ABSTRACT

In this paper, we propose a method to obtain a compact and accurate 3D wireframe representation from a single image by effectively exploiting global structural regularities. Our method trains a convolutional neural network to simultaneously detect salient junctions and straight lines, as well as predict their 3D depth and vanishing points. Compared with the state-of-the-art learning-based wireframe detection methods, our network is simpler and more unified, leading to better 2D wireframe detection. With global structural priors from parallelism, our method further reconstructs a full 3D wireframe model, a compact vector representation suitable for a variety of high-level vision tasks such as AR and CAD. We conduct extensive evaluations on a large synthetic dataset of urban scenes as well as real images. Our code and datasets have been made public at https://github.com/zhou13/shapeunity.

研究の動機と目的

• 深度センサーやマルチビュー設定に依存せずに、単一のRGB画像から3次元シーンの幾何構造を回復することの課題に対処すること。
• 2次元ワイヤフレームの構成要素（接合点、線分）とその3次元深度、および消失点を同時に予測する統合的な深層学習フレームワークの開発。
• 特にマンハッタン幾何学と平行性を含むグローバル構造的事前知識を活用して、頑健で正確な3次元ワイヤフレーム再構築を実現すること。
• AR、CAD、高レベルビジョンタスクに適したコン act なベクトルベースの3次元ワイヤフレーム表現を生成すること。
• 合成都市データセットおよび実世界の画像の両方で手法を評価し、一般化性と頑健性を示すこと。

提案手法

• 1枚の画像からC接合点、T接合点、直線を同時に検出し、その3次元深度と消失点を予測する1つの畳み込みニューラルネットワークを訓練する。
• 2次元ワイヤフレーム検出、深度予測、消失点推定を統合した損失関数を用い、幾何的関係のエンドツーエンド最適化を可能にする。
• マンハッタンワールドにおける線分の平行性や直交性といった幾何制約を、後処理段階で強制することで、3次元ワイヤフレーム幾何の精錬を図る。
• 画像平面における線分のクラスタリングにより消失点推定を実施し、その後、幾何的一致性と深度事前知識を用いて精錬する。
• 消失点推定値と線分幾何に整合するように非線形最適化を適用し、深度精度を向上させる深度精錬処理を実施する。
• 最終的な3次元ワイヤフレームは、予測された深度と消失点制約を用いて2次元検出結果を3次元空間に射影することで構築する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、高い精度で2次元ワイヤフレーム構成要素（接合点、線分）とその3次元深度を同時に予測できるか？
• RQ2 マンハッタンワールドにおける平行性や直交性といったグローバル幾何的事前知識が、単一画像からの3次元ワイヤフレーム再構築をどの程度効果的に向上させるか？
• RQ3 接合点タイプ（C接合点対T接合点）の共同学習が、3次元再構築品質にどの程度寄与するか？
• RQ4 本手法は、2次元ワイヤフレーム検出および3次元再構築の最先端手法と比較して、精度と頑健性の面でどの程度優れているか？
• RQ5 得られた3次元ワイヤフレーム表現は、新規ビュー合成や高レベルビジョンタスクに効果的に応用できるか？

主な発見

• 提案手法は、ベースライン手法[12]と比較して、2次元ワイヤフレーム検出タスクで平均精度（AP）に4ポイントの向上を達成したが、パラメータ数は少ない（19M vs. 30M）。
• 線分と接合点のための別個のヘッドを訓練するのとは対照的に、本ネットワークの性能は顕著に優れており、共同最適化が向上の鍵であることを示している。
• ニューラルネットワークによる消失点検出は、平均角誤差2.69°、失敗率2.3%を達成し、LSD/J-Linkage法よりも頑健性に優れたが、成功時の誤差はわずかに高い。
• 深度精錬により、テストケースの65％でSILog誤差が低減され、消失点からの幾何制約が深度精度を向上させることを示している。
• 本手法は、合成および実画像の両方で、視覚的に妥当で幾何学的に整合性のある3次元ワイヤフレームを生成し、新規ビュー合成において一貫性のある3次元構造を示した。
• 本システムは、テクスチャラインや表面パターンにかかわらず、実都市シーン、特にビッグベンのような複雑な構造に対しても、良好に一般化した。