[論文レビュー] HoHoNet: 360 Indoor Holistic Understanding with Latent Horizontal Features

Cheng Sun, Min Sun+1 more|arXiv (Cornell University)|Nov 23, 2020

Advanced Vision and Imaging参考文献 33被引用数 7

ひとこと要約

HoHoNet は、垂直方向の空間情報を圧縮するためのラテンテンス水平特徴（LHFeat）を活用し、新しい水平方向から密予測（h2d）モジュールにより、包括的な360°インDoorスナップショット理解を高速かつ高精度で実現するディーブラーニングフレームワークです。高解像度の$512\times1024$パノラマで、ResNet-50では52 FPS、ResNet-34では110 FPSを達成し、密な深度推定においては先行手法を上回り、レイアウトおよびセマンティックセグメンテーションにおいては最先端の性能を達成しています。

ABSTRACT

We present HoHoNet, a versatile and efficient framework for holistic understanding of an indoor 360-degree panorama using a Latent Horizontal Feature (LHFeat). The compact LHFeat flattens the features along the vertical direction and has shown success in modeling per-column modality for room layout reconstruction. HoHoNet advances in two important aspects. First, the deep architecture is redesigned to run faster with improved accuracy. Second, we propose a novel horizon-to-dense module, which relaxes the per-column output shape constraint, allowing per-pixel dense prediction from LHFeat. HoHoNet is fast: It runs at 52 FPS and 110 FPS with ResNet-50 and ResNet-34 backbones respectively, for modeling dense modalities from a high-resolution $512 imes 1024$ panorama. HoHoNet is also accurate. On the tasks of layout estimation and semantic segmentation, HoHoNet achieves results on par with current state-of-the-art. On dense depth estimation, HoHoNet outperforms all the prior arts by a large margin.

研究の動機と目的

• 360°インドアパノラマの包括的理解を、複数のタスクにわたり高い効率と精度で実現すること。
• 従来の手法が列ごとの出力に制限されるのを改善し、コンactなLHFeatからピクセル単位の密な予測を可能にすること。
• レイアウト推定、セマンティックセグメンテーション、深度推定のパフォーマンスを損なわず、推論速度を向上させること。
• レイアウト、深度、セマンティックの複数のモダリティを、1つのコンパクトな特徴表現で統合的にサポートする統一フレームワークの開発。

提案手法

• フレームワークは、例えばResNet-50/34のようなCNNバックボーンを用いて、等距離パノラマからのマルチスケール特徴を抽出する。
• 効率的な高さ圧縮（EHC）モジュールは、特徴ピラミッドの垂直次元をコンパクトなラテンテンス水平特徴（LHFeat）に平坦化し、空間解像度を低下させつつ構造的情報を保持する。
• 新規の水平方向から密予測（h2d）モジュールは、周波数ドメインで行ごとの情報をモデル化するためのコサイン変換（DCT）を活用して、LHFeatから密な2次元予測を再構築する。
• h2dモジュールは線形補間の代わりに逆DCTを採用することで、空間的詳細をよりよく保持し、密予測の品質を向上させる。
• EHCモジュールにマルチヘッド自己注意（MHSA）を適用して、圧縮された特徴を精緻化する。
• 最終的な予測は、レイアウト、深度、セマンティックセグメンテーションなどのタスクに適した1次元畳み込み層をLHFeatに適用することで生成される。

実験結果

リサーチクエスチョン

• RQ1 コンパクトなラテンテンス特徴表現は、360°インドアスナップショット理解において、列ごとの予測とピクセル単位の密予測を両立可能か？
• RQ2 垂直方向の特徴圧縮を、重力に一致する構造的規則性を保つように最適化できるか？
• RQ3 圧縮された特徴空間において、周波数ドメインでのモデリング（DCT）は、標準的な補間法に比べて密予測の品質を向上させられるか？
• RQ4 提案フレームワークは、複数の360°シーン理解タスクにおいて、最先端の手法と比較して速度と精度の両面で優れているか？
• RQ5 統一されたネットワークアーキテクチャは、レイアウト推定、セマンティックセグメンテーション、および密な深度推定のすべてで競争力のある性能を達成できるか？

主な発見

• HoHoNet は、$512\times1024$パノラマで、ResNet-50では52 FPS、ResNet-34では110 FPSを達成し、リアルタイムアプリケーションに非常に効率的です。
• 密な深度推定において、HoHoNet はすべての先行手法を上回り、Stanford2D3Dの高解像度RGB-D入力で43.3 MAEを達成し、次に優れた手法と同等の43.3を記録しました。
• セマンティックセグメンテーションでは、高解像度RGB-D入力で66.5%のmIoUを達成し、TangentImgの61.4%を上回り、最高報告パフォーマンスに並びました。
• レイアウト推定では、全体で3D IoUが80.02%、2D IoUが82.32%を達成し、HorizonNetを上回り、AtlantaNetと同等の性能を示しながらも22倍高速でした。
• h2dモジュールは、LHFeatからの高品質な密予測を可能にし、IDCTによる周波数ドメイン再構築が線形補間よりも性能を向上させることを示しました。
• このフレームワークは多様性に富み、1つのコンパクトな特徴表現でレイアウト、深度、セマンティックセグメンテーションをサポートし、統一的かつ効率的な推論を実現しています。