[論文レビュー] The Edge of Depth: Explicit Constraints between Segmentation and Depth

Shengjie Zhu, Garrick Brazil+1 more|arXiv (Cornell University)|Apr 1, 2020

Advanced Vision and Imaging参考文献 47被引用数 10

ひとこと要約

この論文は、自己教師付きモノクローラ深度推定の性能向上を目的として、セマンティックセグメンテーションと深度推定の間で明示的な境界整合性制約を提案する。深度エッジをセグメンテーションの境界に一致させるために微分可能モーフィング操作を用い、漏れアーチファクトを低減するためのステレオオクルージョンマスクを導入することで、KITTIで最先端の性能を達成し、初めて自己教師付き学習において絶対的相対誤差0.101を達成した。

ABSTRACT

In this work we study the mutual benefits of two common computer vision tasks, self-supervised depth estimation and semantic segmentation from images. For example, to help unsupervised monocular depth estimation, constraints from semantic segmentation has been explored implicitly such as sharing and transforming features. In contrast, we propose to explicitly measure the border consistency between segmentation and depth and minimize it in a greedy manner by iteratively supervising the network towards a locally optimal solution. Partially this is motivated by our observation that semantic segmentation even trained with limited ground truth (200 images of KITTI) can offer more accurate border than that of any (monocular or stereo) image-based depth estimation. Through extensive experiments, our proposed approach advances the state of the art on unsupervised monocular depth estimation in the KITTI.

研究の動機と目的

• 低テクスチャ領域や隠蔽領域における自己教師付きモノクローラ深度推定の限界を克服するため、境界の正確性に強力な事前知識としてセマンティックセグメンテーションを活用すること。
• 先行研究で用いられる暗黙的な特徴共有や変換とは異なり、セグメンテーションと深度の境界の関係を明示的にモデル化すること。
• ステレオベースの自己教師付き手法におけるオブジェクト境界付近の漏れアーチファクトを低減するため、新しいステレオオクルージョンマスクを導入すること。
• 画像の分散と光度誤差の品質に基づいて領域に重みを付けるファインチューニング戦略を用いて、学習の安定性と性能を向上させること。
• 弱教師ありセグメンテーションでさえ、境界の正確性において深度推定を上回ることを示し、深度推定の監督信号としてセグメンテーションを用いる妥当性を裏付けること。

提案手法

• セグメンテーションと深度エッジ間のL2距離として測定される非微分可能な境界整合性損失を導入し、グリーディなモーフィングプロセスで最適化する。
• エッジ対応点から抽出した蒸留済みポイントペアを用い、修正されたBeier–Neelyモーフィングアルゴリズムを用いて、セグメンテーションの境界に一致する局所最適な深度マップを生成する。
• ステレオベースの学習における境界付近での誤った監督を抑えるために、光度損失にオクルージョンマスクを統合し、漏れアーチファクトを低減する。
• モーフィング中に重み関数w(x)を適用し、低分散領域を低減して、ノイズの多いセグメンテーション予測によるノイズ増幅を回避する。
• 予測されたセグメンテーションラベル（[46] から取得）を入力とし、画像コンテンツと光度信頼性に基づいてネットワーク部品を選択的に更新するファインチューニング戦略を適用する。
• モーフィングプロセスを学習中に繰り返し適用し、段階的に深度マップをセグメンテーションエッジに合わせて改善しながら、光度的一致性を維持する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的な特徴レベルの相互作用を超えて、セグメンテーションと深度の境界を明示的に一致させることで、自己教師付きモノクローラ深度推定の性能が向上するか？
• RQ2 セグメンテーションエッジを監督信号として用いることで、低テクスチャ領域や反射領域ですら、深度推定単体よりも正確な深度境界が得られるか？
• RQ3 オクルージョンを明示的にモデル化することで、ステレオベースの自己教師付き深度推定における漏れアーチファクトを低減でき、監督信号の質が向上するか？
• RQ4 特にモーフィングと三角形分割の2つの戦略の選択が、監督信号の質と最終的な深度予測に与える影響は何か？
• RQ5 分散と光度誤差に基づいて領域に重みを付けるシンプルなファインチューニング戦略が、自己教師付き深度推定の汎化性能と性能向上に寄与するか？

主な発見

• 提案手法はKITTIテストセットにおいて、自己教師付き深度推定で初めて、絶対的相対誤差0.101という新たな最先端性能を達成した。
• ステレオオクルージョンマスクの導入により、漏れアーチファクトが低減され、性能が向上し、絶対的相対誤差が0.102から0.101に低下し、δ<1.25が0.884から0.887に上昇した。
• モーフィングベースの監督により、深度境界の品質が向上し、定性的な結果ではセグメンテーションの輪郭に整合したより鋭く一貫性のあるエッジが得られた。
• 三角形分割に基づくポイントペア蒸留法と比較して、モーフィング戦略は顕著に優れており、RMSEが0.011（4.379から4.368）低下し、δ<1.25スコアは同等を維持した。
• ファインチューニング戦略は複数のモデルで性能向上を示し、絶対的相対誤差がGodardらの手法で0.104から0.103に、Watsonらの手法で0.096から0.094に低下した。これは、汎用性の高さを示している。
• セグメンテーション事前学習にKITTIの200枚のみを用いても、セグメンテーション境界が深度推定境界よりも正確であることが示され、本手法の核心的直観が妥当であることを裏付けた。