[論文レビュー] Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry

Shunkai Li, Fei Xue+3 more|arXiv (Cornell University)|Aug 23, 2019

Advanced Vision and Imaging参考文献 43被引用数 13

ひとこと要約

本論文は、コン pact なコード表現と長短期間記憶（LSTM）ネットワークを通じて、フレーム間相関をモデル化することで、深さとポーズ推定を向上させる自己教師付き深層ビジョウ・オドメトリフレームワークを提案する。視覚合成を生成的タスクとして扱い、構造的認識を有する GAN ベースの識別器を用いることで、KITTI および Cityscapes で最先端の性能を達成し、深さのあいまいさとポーズドリフトを顕著に低減する。

ABSTRACT

We propose a self-supervised learning framework for visual odometry (VO) that incorporates correlation of consecutive frames and takes advantage of adversarial learning. Previous methods tackle self-supervised VO as a local structure from motion (SfM) problem that recovers depth from single image and relative poses from image pairs by minimizing photometric loss between warped and captured images. As single-view depth estimation is an ill-posed problem, and photometric loss is incapable of discriminating distortion artifacts of warped images, the estimated depth is vague and pose is inaccurate. In contrast to previous methods, our framework learns a compact representation of frame-to-frame correlation, which is updated by incorporating sequential information. The updated representation is used for depth estimation. Besides, we tackle VO as a self-supervised image generation task and take advantage of Generative Adversarial Networks (GAN). The generator learns to estimate depth and pose to generate a warped target image. The discriminator evaluates the quality of generated image with high-level structural perception that overcomes the problem of pixel-wise loss in previous methods. Experiments on KITTI and Cityscapes datasets show that our method obtains more accurate depth with details preserved and predicted pose outperforms state-of-the-art self-supervised methods significantly.

研究の動機と目的

• 単一ビューの深さ推定に依存する自己教師付きビジョウ・オドメトリの限界を解消すること。これは、不適切に定式化されており、誤差を生じやすい。
• 連続フレーム間の空間的・時間的相関を活用することで、長時間のシーケンスにおける推定誤差とスケールドリフトの蓄積を低減すること。
• ピクセル単位の光度損失の代わりに対抗的学習を用い、ハイレベルな構造的一致性を捉えることで、深さとポーズ推定の正確性を向上させること。
• 視覚合成とトラジェクトリ一貫性を教師信号として活用することで、ラベルなしデータを用いた堅牢な自己教師付き学習を可能にすること。
• 深さとポーズが対抗的学習による識別器が構造的現実性を評価する統合的生成フレームワークで、同時に最適化されるようにすること。

提案手法

• 連続フレーム間の光流のコン pact なコード表現を学習し、フレーム間相関を符号化すること。
• LSTM ネットワークを用いて、時間的に長いスパンの依存関係を捉えるために、コード表現をシーケンス全体で集約・精錬すること。
• 深さとポーズ推定を、推定された深さとポーズを用いてワープされたターゲット画像を合成する生成器を持つ条件付き画像生成タスクとして定式化すること。
• 高レベルの構造的認識を用いて合成画像の現実性を評価する識別器を備えた生成的対抗的ネットワーク（GAN）を採用すること。
• 時間的・空間的一致性を、トラジェクトリ一貫性（TC）損失により強制し、シーケンス全体でのポーズ予測を正則化すること。
• 写真的損失を用いた視覚合成と、画像の現実性を評価する対抗的損失を用いた、教師なしラベルが不要なエンドツーエンドのネットワーク訓練を実施すること。

実験結果

リサーチクエスチョン

• RQ1 コン pact なコード表現を用いて逐次フレーム相関をモデル化することで、自己教師付きビジョウ・オドメトリにおける深さ推定が向上するか？
• RQ2 ピクセル単位の光度損失を構造的認識に基づく対抗的学習に置き換えることで、より正確な深さとポーズ推定が達成されるか？
• RQ3 LSTM を用いて長期間の時間的コンテキストを組み込むことで、長時間シーケンスにおけるスケールドリフトと推定誤差はどの程度低減されるか？
• RQ4 GAN ベースの画像生成と視覚合成の組み合わせは、標準的な自己教師付き VO メソッドと比較して、性能をどのように向上させるか？
• RQ5 対抗的学習とトラジェクトリ一貫性を備えた自己教師付きフレームワークは、教師あり手法と同等の性能を達成できるか？

主な発見

• 提案手法は、KITTI および Cityscapes データセットで最先端の性能を達成し、両方の深さ推定とポーズ推定において、既存の自己教師付き手法を上回る。
• 完全モデル（コード + GAN + LSTM + TC）を用いることで、KITTI 50m シーケンスにおける深さ推定の平均絶対誤差（MAE）が 0.146 にまで低下し、ベースライン比で 59% の改善を達成した。
• シーケンス 09 ではポーズ推定誤差が 0.0030、シーケンス 10 では 0.0029 にまで低下し、先行する自己教師付きベースラインを顕著に上回った。
• アブレーションスタディの結果、コード、LSTM、GAN、トラジェクトリ一貫性の各モジュールが性能向上に寄与していることが確認され、特に GAN と LSTM が最大の向上をもたらした。
• 細かいディテール（例：電柱、エッジ）の保持が良好で、テクスチャが乏しいまたは色が似通った領域でも誤った深さ推定を回避する、よりシャープな深さマップを生成した。
• 教師なしの画像シーケンスのみを用いても、教師あり手法と同等の性能を達成した。これは、対抗的自己教師付き学習の有効性を示している。