[論文レビュー] Self-Supervised Relative Depth Learning for Urban Scene Understanding

Huaizu Jiang, Erik Learned-Miller+3 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Vision and Imaging参考文献 47被引用数 8

ひとこと要約

本論文は、移動中の車両から取得したラベルなし動画を用いて、深層ネットワークが単一画像から相対的深度を予測するように訓練することにより、自己教師ありプロキシタスクを提案する。運動パララックスと運動セグメンテーションを用いた幾何的制約を活用することで、人間がラベルを付与したデータを一切使用せずに、セマンティックセグメンテーションおよび単眼深度推定の分野で最先端の性能を達成した。一部のケースではImageNetで事前学習したモデルを上回った。

ABSTRACT

As an agent moves through the world, the apparent motion of scene elements is (usually) inversely proportional to their depth. It is natural for a learning agent to associate image patterns with the magnitude of their displacement over time: as the agent moves, faraway mountains don't move much; nearby trees move a lot. This natural relationship between the appearance of objects and their motion is a rich source of information about the world. In this work, we start by training a deep network, using fully automatic supervision, to predict relative scene depth from single images. The relative depth training images are automatically derived from simple videos of cars moving through a scene, using recent motion segmentation techniques, and no human-provided labels. This proxy task of predicting relative depth from a single image induces features in the network that result in large improvements in a set of downstream tasks including semantic segmentation, joint road segmentation and car detection, and monocular (absolute) depth estimation, over a network trained from scratch. The improvement on the semantic segmentation task is greater than those produced by any other automatically supervised methods. Moreover, for monocular depth estimation, our unsupervised pre-training method even outperforms supervised pre-training with ImageNet. In addition, we demonstrate benefits from learning to predict (unsupervised) relative depth in the specific videos associated with various downstream tasks. We adapt to the specific scenes in those tasks in an unsupervised manner to improve performance. In summary, for semantic segmentation, we present state-of-the-art results among methods that do not use supervised pre-training, and we even exceed the performance of supervised ImageNet pre-trained models for monocular depth estimation, achieving results that are comparable with state-of-the-art methods.

研究の動機と目的

• 人間がラベルを付与したデータを一切使用せずに、意味のある視覚的表現を学習できる自己教師ありプロキシタスクを開発すること。
• 移動中のカメラが取得したラベルなしの動画データのみを用いて、都市部のシーン理解タスクのための事前学習に取り組むこと。
• 教師なし事前学習を用いて、セマンティックセグメンテーション、共同検出、単眼深度推定の下流タスクにおける性能を向上させること。
• 自己教師あり相対的深度予測が、特に低ラベル量の環境下で、ImageNet事前学習の強力な代替手段となり得るかどうかを検討すること。
• 特定のタスク用の動画（例：KITTI）を用いた自己教師あり事前学習によるドメイン適応の有効性を調査すること。

提案手法

• 移動中の車両から撮影されたラベルなしのYouTube動画を、自己教師あり事前学習の入力として使用する。
• 運動セグメンテーション技術を適用して運動場を推定し、カメラの運動とシーンフローの間の幾何的制約から相対的深度を回復する。
• 各画像ごとに相対的深度を[0,1]に正規化し、シーン内でのピクセルの深度パーセンタイルを表すプロキシの教師信号とする。
• このプロキシラベルを用いて、完全畳み込みネットワーク（例：VGG16 や ResNet50）を単一画像から相対的深度を予測するように訓練する。
• 下流タスクにおいては、人間がラベルを付与した少量のデータのみを用いて、事前学習済みネットワークを微調整する。
• タスク固有の動画（例：KITTI）を用いた教師なしドメイン適応により、事前学習モデルを特定のデータセットに適応させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありで学習された単一画像からの相対的深度予測タスクが、視覚的表現を学習するための有効なプロキシタスクとして機能するか。
• RQ2 相対的深度に基づく自己教師あり事前学習は、ランダム初期化やImageNet事前学習と比較して、下流タスクにおける都市部のシーン理解性能を向上させるか。
• RQ3 自己教師あり事前学習が、単眼深度推定およびセマンティックセグメンテーションにおいてImageNetで事前学習したモデルを上回る性能を発揮するか。
• RQ4 タスク固有のラベルなし動画（例：KITTI）を微調整に用いることで、教師なしドメイン適応により性能がどの程度向上するか。
• RQ5 入力動画に移動物体が存在しない、または正確な運動方向が不明な場合、この手法のロバストネスはどの程度か。

主な発見

• 本手法で提案された自己教師あり相対的深度事前学習は、ImageNet事前学習を用いない手法の中で、Cityscapesでの平均IoUが0.983に達し、ドメイン適応を適用した場合に最先端の性能を達成した。
• 単眼深度推定において、本手法はImageNet事前学習を上回り、KITTIでのテストRMSEが4.903を記録した。これはImageNet事前学習モデルの5.073より低い値である。
• KITTI動画を用いたドメイン適応（Ours CD+K）で微調整したResNet50モデルは、RMSEが4.903、mIoUが0.983を達成し、最先端の手法と同等またはそれを上回った。
• CityscapesやKITTIを含む複数のベンチマークにおいて、本手法はランダム初期化モデルおよびImageNet事前学習モデルを一貫して上回った。
• 相対的深度予測タスクは、明示的な教師信号がなくても、柱や標識といった物体を深度プロファイルで区別できるような意味的な特徴を学習する。
• 相対的深度から絶対的深度への非線形変換が非自明であることが、単純に相対的深度をスケーリングした場合に11.08のRMSEを示したことで裏付けられており、学習された表現の価値が浮き彫りになった。