[論文レビュー] GCNDepth: Self-supervised Monocular Depth Estimation based on Graph Convolutional Network

Armin Masoumian, Hatem A. Rashwan+3 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文は、画像ピクセル間のトポロジカルな関係をモデル化することで深度マップの精度を向上させる、自己教師付きモノクローラ深度推定モデルGCNDepthを提案する。U-Net風のデコーダーにマルチスケールGCNを統合し、光度、再投影、滑らかさの損失を組み合わせることで、KITTIおよびMake3Dで89%の精度を達成するとともに、従来手法と比較してパラメータ数を40%削減した。

ABSTRACT

Depth estimation is a challenging task of 3D reconstruction to enhance the accuracy sensing of environment awareness. This work brings a new solution with a set of improvements, which increase the quantitative and qualitative understanding of depth maps compared to existing methods. Recently, a convolutional neural network (CNN) has demonstrated its extraordinary ability in estimating depth maps from monocular videos. However, traditional CNN does not support topological structure and they can work only on regular image regions with determined size and weights. On the other hand, graph convolutional networks (GCN) can handle the convolution on non-Euclidean data and it can be applied to irregular image regions within a topological structure. Therefore, in this work in order to preserve object geometric appearances and distributions, we aim at exploiting GCN for a self-supervised depth estimation model. Our model consists of two parallel auto-encoder networks: the first is an auto-encoder that will depend on ResNet-50 and extract the feature from the input image and on multi-scale GCN to estimate the depth map. In turn, the second network will be used to estimate the ego-motion vector (i.e., 3D pose) between two consecutive frames based on ResNet-18. Both the estimated 3D pose and depth map will be used for constructing a target image. A combination of loss functions related to photometric, projection, and smoothness is used to cope with bad depth prediction and preserve the discontinuities of the objects. In particular, our method provided comparable and promising results with a high prediction accuracy of 89% on the publicly KITTI and Make3D datasets along with a reduction of 40% in the number of trainable parameters compared to the state of the art solutions. The source code is publicly available at https://github.com/ArminMasoumian/GCNDepth.git

研究の動機と目的

• 従来のCNNが抱える制限を克服するため、画像ピクセル間の非ユークリッド的でトポロジカルな関係をモデル化することで、モノクローラ深度推定の精度を向上させること。
• 性能に損なわれることなく、深度推定ネットワークの学習可能なパラメータ数を削減すること。
• 幾何的に注意を払った特徴学習により、物体の境界や不連続性を保持することで、深度マップの品質を向上させること。
• 高価な真値深度アノテーションの必要性を排除する自己教師付きフレームワークを開発すること。
• 低テクスチャ領域や困難な照明条件下でも、堅牢な深度予測を可能にすること。

提案手法

• モデルは二重ブランチアーキテクチャを採用：一方のブランチは、マルチスケールGCNを用いたResNet-50を深度推定に、もう一方は、連続フレーム間の自己運動予測にResNet-18を用いる。
• GCNはデコーダーに適用され、学習されたトポロジカル構造に基づいてピクセル間で特徴を伝搬させ、長距離依存性を捉え、幾何的整合性を維持する。
• デコーダーの各層にマルチスケールGCNを実装し、異なる近傍受容野を用いて、空間相関をさまざまな粒度でモデル化する。
• 学習目的は、元の画像と再構成画像間の光度損失、オクルージョンに対処する再投影損失、エッジを保持しテクスチャバイアスを低減する滑らかさ損失を組み合わせたものである。
• モデルは微分可能な画像再構成パイプラインを用いる：予測された深度と推定されたポーズを用いて、ソースフレームをターゲットフレームにワープして再構成する。
• 損失関数はバックプロパゲーションを用いてエンドツーエンド最適化され、GCN層により、通常のグリッド畳み込みを超えた構造的特徴伝搬が可能になる。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、規則的なグリッド構造を超えたピクセル関係をモデル化することで、深度推定の精度を向上させることができるか？
• RQ2 デコーダーに統合されたマルチスケールGCNは、特徴表現と深度マップ品質をどのように向上させるか？
• RQ3 自己教師付きGCNベースのモデルは、CNNベースのSOTA手法と比較して、パrameter数をどの程度削減しつつ、性能を維持または向上させられるか？
• RQ4 GCNベースの特徴学習は、物体の境界をよりよく保持し、低テクスチャ領域を効果的に処理できるか？
• RQ5 光度損失、再投影損失、滑らかさ損失の組み合わせは、再構成の忠実性と深度マップの不連続性保持にどのような影響を与えるか？

主な発見

• KITTIデータセットにおいて、GCNDepthはAbs-Relのテスト誤差0.424を達成し、他の自己教師付き手法を上回り、教師ありベースラインに近い性能を示した。
• Make3Dデータセットでは、RMSEが6.757、Sq-Relが3.075、RMSE-logが0.107を記録し、微調整なしで優れた汎化性能を示した。
• SOTAの自己教師付き手法と比較して、学習可能なパラメータ数を40%削減した。これは、パrameter効率の向上を示している。
• 定性的な結果から、GCNDepthは特に低テクスチャ領域や複雑な照明条件下でも、物体の境界や深度の不連続性をよりよく保持していることが明らかになった。
• Monodepth2が自己教師付き手法の中で最も優れたAbs-Rel性能を示していたにもかかわらず、Make3DにおいてGCNDepthはSq-RelとRMSE-logの両面でそれを上回った。
• GCNの使用により、柱や緑地、建物などの困難な領域の深度再構成が向上し、ベースラインモデルと比較して明確な深度境界が得られた。