[論文レビュー] HorizonNet: Learning Room Layout with 1D Representation and Pano Stretch Data Augmentation

Cheng Sun, Chi-Wei Hsiao+2 more|arXiv (Cornell University)|Jan 12, 2019

Advanced Vision and Imaging参考文献 34被引用数 17

ひとこと要約

HorizonNetは、パノラマ画像からの3次元ルームレイアウト推定のための1次元表現を提案し、画像の各列ごとに床-壁、天井-壁、壁-壁の境界位置を符号化する。効率的な後処理ステップとPano Stretchデータ拡張を導入することで、計算コストを低く抑えながら最先端の性能を達成し、微調整後に非立方体レイアウトにも一般化可能である。

ABSTRACT

We present a new approach to the problem of estimating the 3D room layout from a single panoramic image. We represent room layout as three 1D vectors that encode, at each image column, the boundary positions of floor-wall and ceiling-wall, and the existence of wall-wall boundary. The proposed network, HorizonNet, trained for predicting 1D layout, outperforms previous state-of-the-art approaches. The designed post-processing procedure for recovering 3D room layouts from 1D predictions can automatically infer the room shape with low computation cost - it takes less than 20ms for a panorama image while prior works might need dozens of seconds. We also propose Pano Stretch Data Augmentation, which can diversify panorama data and be applied to other panorama-related learning tasks. Due to the limited data available for non-cuboid layout, we relabel 65 general layout from the current dataset for finetuning. Our approach shows good performance on general layouts by qualitative results and cross-validation.

研究の動機と目的

• パノラマルームレイアウト推定のための限られた、曖昧で一般化できないトレーニングデータの課題に対処すること。
• モデルの複雑さとインferencingコストを低減しつつ、3次元レイアウト予測の精度を維持または向上させること。
• パノラマジオメトリに特化したデータ拡張戦略を開発し、より多くのアノテートデータを必要とせずに一般化性能を向上させること。
• 再アノテートされたデータで微調整することで、非立方体および凹型のルームレイアウトの正確な予測を可能にすること。
• 完全なルームレイアウトを効率的に符号化しながら幾何学的整合性を保つコンactな1次元表現を設計すること。

提案手法

• 各境界タイプ（床-壁、天井-壁、壁-壁）ごとに1つの1次元ベクトルを用い、画像の各列に値を割り当てる。
• ResNetベースのバックボーンに続くRNNを用い、パノラマ画像全体にわたる長距離幾何的依存関係をモデル化する。
• Pano Stretchデータ拡張を適用し、トレーニング中にパノラマ画像を水平方向に引き伸ばしてデータの多様性を高める。
• 幾何制約を用いて1次元予測を3次元レイアウトに変換する高速な後処理パイプラインを採用し、1枚あたり20ms未満で処理を完了する。
• 65件の再アノテートされた非立方体レイアウトで微調整することで、複雑な非直線的形状のルームの性能を向上させる。
• 密度の高い2次元出力ヘッドを1次元表現に置き換えることで、パラメータ数と計算量を削減しつつ予測精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 パノラマルームレイアウトの1次元表現は、従来の2次元密予測よりも精度と効率性において優れているか？
• RQ2 Pano Stretchデータ拡張は、パノラマレイアウト推定タスクにおける一般化性能と性能を向上させるか？
• RQ3 RNNは、パノラマレイアウトにおける長距離幾何パターンを効果的にモデル化でき、予測の一貫性を向上させられるか？
• RQ4 立方体レイアウトでトレーニングされたモデルが、非立方体および凹型のルームレイアウトにどの程度一般化できるか？
• RQ5 提案された後処理手法は、最小限の計算コストで高速に3次元レイアウト再構築を実現できるか？

主な発見

• 65件の再アノテートされた非立方体レイアウトの13分割交差検証において、HorizonNetは3次元IoU 82.5%を達成し、LayoutNetを7.4ポイント上回った。
• 1次元表現とRNNを用いたモデルは、パラメータ数と計算量が少ないにもかかわらず、密な2次元予測よりも優れた性能を示した。
• Pano Stretchデータ拡張は、すべての実験設定で一貫して性能を向上させ、その有効性と一般化可能性を示した。
• 後処理ステップは1パノラマあたり20ms未満で3次元レイアウトを再構築でき、従来の数十秒を要する手法よりも顕著に高速だった。
• RNNを用いたモデルは、後処理を施さなくても、マンハッタンワールド幾何学と非常に高い一貫性を持つ出力を生成しており、レイアウト構造に対する強いインダクティブバイアスを示した。
• 65件の再アノテートされた非立方体レイアウトで微調整することで、遮蔽された角や凹型の角を持つ複雑なルーム形状に対しても一般化が可能になった。