[論文レビュー] Flat2Layout: Flat Representation for Estimating Layout of General Room Types

Chi-Wei Hsiao, Cheng Sun+2 more|arXiv (Cornell University)|May 29, 2019

3D Surveying and Cultural Heritage参考文献 30被引用数 16

ひとこと要約

Flat2Layoutは、事前に定義されたボックス型トポロジーを必要とせず、単一のRGB画像から一般化された屋内部屋のレイアウトを推定するための新しいフラット表現を提案する。深層学習モデルを用いて行方向のフラット出力を予測し、動的計画法を用いて解釈することで、正確な3Dレイアウトを生成する。標準ベンチマークで最先端の性能を達成するとともに、微調整を用いることで、非ボックス型の複雑な部屋タイプに対しても効果的に一般化する。

ABSTRACT

This paper proposes a new approach, Flat2Layout, for estimating general indoor room layout from a single-view RGB image whereas existing methods can only produce layout topologies captured from the box-shaped room. The proposed flat representation encodes the layout information into row vectors which are treated as the training target of the deep model. A dynamic programming based postprocessing is employed to decode the estimated flat output from the deep model into the final room layout. Flat2Layout achieves state-of-the-art performance on existing room layout benchmark. This paper also constructs a benchmark for validating the performance on general layout topologies, where Flat2Layout achieves good performance on general room types. Flat2Layout is applicable on more scenario for layout estimation and would have an impact on applications of Scene Modeling, Robotics, and Augmented Reality.

研究の動機と目的

• ボックス型の部屋レイアウト（天井、床、および3面の壁を含む）に限定され、最大5平面まで処理可能な従来の手法の制限を克服すること。
• トポロジー固有のモデル変更を必要とせず、任意の部屋トポロジーに一般化可能なレイアウト推定手法を開発すること。
• 動的計画法による効率的で正確なレイアウト幾何の復元を可能にするフラット出力表現を設計すること。
• 標準のLSUNデータセットを超えた一般部屋レイアウトトポロジーを評価するための新規ベンチマークを構築すること。

提案手法

• 入力RGB画像を事前に処理し、垂直消失点を検出し、ホモロジー変換を適用して画像を補正することで、すべての壁同士の境界が垂直に整列するようにする。
• レイアウト情報を行ベクトルとして符号化するフラットなターゲット表現を設計し、深層モデルがレイアウト要素の1次元シーケンスを予測できるようにする。
• 単一のRGB画像から直接フラット表現をエンドツーエンドに予測する深層ニューラルネットワークを訓練する。
• コーナーと平面の接続性を最適化することで、フラット出力を有効な3Dレイアウトに動的計画法を用いて復元する後処理を実施する。
• 幾何的一致性を保証するため、トレーニング中にフラット表現を監督する微分可能な損失関数を用いる。
• 40枚のパノラマ画像から構築された新規の一般部屋レイアウトベンチマーク上で、事前に学習されたLSUNモデルを微調整し、複雑なトポロジーに適応させる。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、標準のボックス型レイアウトで学習した深層学習モデルが、非ボックス型の部屋レイアウトに一般化できるか？
• RQ2 ピクセルごとまたはキーポイントベースの表現と比較して、フラット表現は複雑なレイアウトトポロジーをどの程度効果的に符号化できるか？
• RQ3 推論時に消失点抽出に依存せず、フラット出力から動的計画法による復元が信頼性を持って3Dレイアウトを再構築できるか？
• RQ4 LSUNでのみ学習したモデルと、一般レイアウトデータで微調整したモデルとの間には、性能差がどの程度存在するか？
• RQ5 3つ以上の可視壁同士の境界を持つ困難なレイアウトに対して、この手法はどの程度頑健か？

主な発見

• 10分割交差検証による微調整後、一般レイアウトベンチマークにおいてコーナー誤差（CE）が5.31%に低下し、LSUNのみで事前学習したモデル（8.35% CE）を顕著に上回った。
• 3つ以上の壁同士の境界が可視のレイアウトにおいて、微調整なしのモデルではCEが13.59%であったのに対し、微調整後は6.78%に低下し、強力な一般化能力を示した。
• LSUNベンチマークにおいても最先端の性能を維持しており、1フレームあたりの推論時間がわずか500msである。
• 定性的な結果から、バルコニー付きや非長方形構造を含む複雑なレイアウトでさえ、正しく再構築できていることが示された。正確な真値との一致が完全でなくても、視覚的に妥当なレイアウトを生成している。
• 再トレーニングや後処理パイプラインの変更なしに、未学習の部屋タイプに対しても一般化可能であり、データ拡張と微調整に依存する。
• ビーム・コラムが壁と誤認されるような困難なケースでも、依然として視覚的に妥当なレイアウトを生成しており、幾何的推論における頑健性が示された。