[論文レビュー] Semi-Supervised Adversarial Monocular Depth Estimation

Rongrong Ji, Ke Li+7 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Vision and Imaging被引用数 5

ひとこと要約

この論文は、少量の画像-深度ペアと多数のラベルなしRGB画像を活用して、最先端の性能を達成する、モノクローラル深度推定のための半教師付き対生成的学習フレームワークを提案する。深度予測のためのジェネレータと、画像-深度ペアの現実性を評価するディスクリミネータと、深度マップの品質を評価するもう一つのディスクリミネータを用いることで、ラベル付きデータが限られている状況でも精度が著しく向上し、NYUv2、Make3D、ドメイン適応のシナリオにおいて、教師ありベースラインを上回る性能を発揮する。

ABSTRACT

In this paper, we address the problem of monocular depth estimation when only a limited number of training image-depth pairs are available. To achieve a high regression accuracy, the state-of-the-art estimation methods rely on CNNs trained with a large number of image-depth pairs, which are prohibitively costly or even infeasible to acquire. Aiming to break the curse of such expensive data collections, we propose a semi-supervised adversarial learning framework that only utilizes a small number of image-depth pairs in conjunction with a large number of easily-available monocular images to achieve high performance. In particular, we use one generator to regress the depth and two discriminators to evaluate the predicted depth , i.e., one inspects the image-depth pair while the other inspects the depth channel alone. These two discriminators provide their feedbacks to the generator as the loss to generate more realistic and accurate depth predictions. Experiments show that the proposed approach can (1) improve most state-of-the-art models on the NYUD v2 dataset by effectively leveraging additional unlabeled data sources; (2) reach state-of-the-art accuracy when the training set is small, e.g., on the Make3D dataset; (3) adapt well to an unseen new dataset (Make3D in our case) after training on an annotated dataset (KITTI in our case).

研究の動機と目的

• モノクローラル深度推定における大規模で高価な画像-深度ペアデータセットへの依存を低減すること。
• 限られた数の真値深度マップしか利用できない状況で、深度推定の精度を向上させること。
• 豊富で容易に入手可能なラベルなしRGB画像を活用して、モデルの一般化性能と性能を向上させること。
• ラベル付きソースドメイン（例：KITTI）からラベルなしターゲットドメイン（例：Make3D）への効果的なドメイン適応を可能にすること。
• Lainaら[2] や Eigenら[1] のような、さまざまな深度推定ジェネレータアーキテクチャと互換性を持つ柔軟なフレームワークの開発

提案手法

• 画像-深度ペアのリアルさを評価するディスクリミネータと、深度マップの妥当性を評価するもう一つのディスクリミネータを備えた、ジェネレータによる深度回帰を目的とした生成的敵対的ネットワーク（GAN）フレームワークを設計する。
• ペアディスクリミネータは、実際のペアと偽物のペアを区別することで、予測された画像-深度ペアの現実性を評価する。
• 深度ディスクリミネータは、予測された深度マップ単体の妥当性を評価し、それが真の深度マップの分布と一致することを保証する。
• ジェネレータは両方のディスクリミネータからの損失を組み合わせて訓練され、ベイジアン後立分布を模倣する：p(d|I) ∝ p(I|d)p(d)。
• ラベルなしRGB画像は、真値深度が不要な状態でジェネレータへの入力とディスクリミネータからのフィードバックを提供するために訓練中に使用される。
• このフレームワークは、Lainaら[2] や Eigenら[1] のような、最先端の深度推定ジェネレータアーキテクチャと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 少量のラベル付き画像-深度ペアしか利用できない状況で、半教師付きGANフレームワークがモノクローラル深度推定の精度を向上させられるか？
• RQ2 追加の監視なしに、ラベルなしRGB画像が深度予測性能をどの程度向上させられるか？
• RQ3 提案された敵対的フレームワークは、KITTIからMake3Dへのドメイン適応など、未学習のデータセットにも一般化可能か？（ターゲットドメインのラベルでファインチューニングなしに。）
• RQ4 画像-深度ペアと深度マップの両方を評価する二重ディスクリミネータ設計は、単一ディスクリミネータまたは教師ありベースラインよりも優れた深度品質をもたらすか？
• RQ5 ラベル付きデータが十分に豊富になると、半教師付きアプローチの性能の上限はどこまで達成できるか？

主な発見

• NYUv2データセットでは、追加のラベルなし画像を活用することで、既存の最先端モデルの性能が向上し、より低い誤差率を達成した。
• 限られた学習データを有するMake3Dデータセットでは、本手法が完全に教師ありベースラインを上回る最先端の精度に到達した。
• KITTIからMake3Dへのドメイン適応において、KITTIの画像-深度ペアに加えて400枚のラベルなしMake3D画像を用いて訓練したモデルは、相対誤差（rel）が0.447にまで低下し、教師ありのみのモデルよりも顕著に優れた性能を示した。
• 一部のケースでは、真値深度マップよりも自然な見た目の深度マップを生成した。これは真値がしばしば疎であり、可視化のための補完が必要なためである。
• 十分なラベル付きデータがすでに利用可能であれば、本手法は性能向上を示さない。これは、ラベルなしデータがラベルが不足している場合にのみ有効であるという半教師付きの仮定を裏付けた。
• ガラスやミラー領域では、訓練データに欠陥のある深度アノテーション（例：Kinectセンサー由来）があるため、モデルの性能が劣化した。