[論文レビュー] Indoor Depth Completion with Boundary Consistency and Self-Attention

Yu–Kai Huang, Tsung-Han Wu+2 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Vision and Imaging参考文献 35被引用数 5

ひとこと要約

本論文は、自己注意メカニズムと境界一貫性を統合することで、屋内シーンにおける深度マップの品質を向上させる、新規のエンドツーエンド深度補完ネットワークを提案する。自己注意を用いて長距離依存関係を捉え、補助ネットワークを介して境界一貫性を強制することで、Matterport3Dデータセット上で最先端の性能を達成し、完成した深度マップにおけるぼやけを顕著に低減し、構造的忠実性を向上させた。

ABSTRACT

Depth estimation features are helpful for 3D recognition. Commodity-grade depth cameras are able to capture depth and color image in real-time. However, glossy, transparent or distant surface cannot be scanned properly by the sensor. As a result, enhancement and restoration from sensing depth is an important task. Depth completion aims at filling the holes that sensors fail to detect, which is still a complex task for machine to learn. Traditional hand-tuned methods have reached their limits, while neural network based methods tend to copy and interpolate the output from surrounding depth values. This leads to blurred boundaries, and structures of the depth map are lost. Consequently, our main work is to design an end-to-end network improving completion depth maps while maintaining edge clarity. We utilize self-attention mechanism, previously used in image inpainting fields, to extract more useful information in each layer of convolution so that the complete depth map is enhanced. In addition, we propose boundary consistency concept to enhance the depth map quality and structure. Experimental results validate the effectiveness of our self-attention and boundary consistency schema, which outperforms previous state-of-the-art depth completion work on Matterport3D dataset. Our code is publicly available at https://github.com/tsunghan-wu/Depth-Completion.

研究の動機と目的

• ニューラルネットワークベースの深度補完におけるぼやけた境界と低い構造的忠実性の課題に対処すること。
• 隣接ピクセルの深度値をコピーまたはぼやけさせることに依存する補間ベースの手法の限界を克服すること。
• センサーの制限（例：光沢のある、透明な、または遠くの表面）によって生じる大規模な欠損領域を有するシーンにおける深度補完のロバスト性を向上させること。
• 幾何的理解とセマンティック認識を向上させるエンドツーエンドで訓練可能なフレームワークを開発すること。
• 物体の境界を鋭く保ち、構造的現実性を向上させるために、新たな正則化戦略として境界一貫性を導入すること。

提案手法

• 入力全体にわたり意味的・幾何学的に関連する領域に特徴マップが動的に注目できるように、エンコーダ・デコーダアーキテクチャに自己注意メカニズムを統合する。
• 表面法線とオクルージョン境界を補助的監視信号として用い、注意メカニズムをガイドし、深度推定の精度を向上させる。
• 予測された深度マップからオクルージョン境界を生成する別個の境界予測ヘッドを訓練し、その出力を主な深度補完ネットワークの監視に使用する。
• 予測された境界と真値エッジとのずれをペナルティ化する境界一貫性損失を適用し、より鋭く現実的な深度構造を促進する。
• SSIMとRMSE損失を用いたマルチスケール監視を組み合わせ、知覚的品質と回帰精度を向上させる。
• RMSE、SSIM、境界一貫性損失を組み合わせた複合損失関数を用いて、モデル全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムにより、局所的補間に依存するのではなく、意味的・幾何学的に関連する領域に注目できるようになることで、深度補完が向上するか？
• RQ2 補助ネットワークを介して境界一貫性を強制することで、標準的な監視と比較して、より鋭く正確な深度境界が得られるか？
• RQ3 自己注意と境界一貫性の統合が、Matterport3Dのようなベンチマークデータセット上で、先行する最先端手法と比較してどの程度性能を向上させるか？
• RQ4 反射性や透明性のための大きな欠損領域を有する困難なケースに対して、提案手法はどのように対処するか？
• RQ5 複雑な幾何構造と変動する照明条件を有する実世界の屋内シーンにおいて、構造的忠実性を維持したまま一般化可能か？

主な発見

• 提案手法はMatterport3DデータセットでテストRMSEが1.092を達成し、以前の最先端手法を上回った。
• 境界一貫性を導入したことで、10%の誤差以内の予測が75.8%に上昇し、ベースラインと比較して顕著な向上を示した。
• 自己注意と境界一貫性の導入により、SSIMは自己注意なしの状態（0.605）から0.799に上昇し、構造的類似性とエッジの明瞭さに顕著な向上が見られた。
• アブレーションスタディの結果、境界一貫性が構造的品質向上に最も寄与しており、SSIMで3%の上昇とエッジ検出の明瞭さの顕著な向上が確認された。
• 注目マップの可視化により、ネットワークが物体の境界や欠損領域に注目していることが示され、深度補完に適切な特徴選択が行われていることが裏付けられた。
• 非エンドツーエンドの最適化ベース手法と比較して、訓練が高速化され、リアルタイムの推論が可能となり、ロボット工学やAR/VRアプリケーションへの実用的導入が可能になった。