[論文レビュー] Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light

Eunah Jung, Nan Yang+1 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Vision and Imaging被引用数 13

ひとこと要約

本稿では、低照度ステレオ画像系列の品質向上を目的とした、新しいGANベースの手法であるMulti-Frame GAN (MFGAN) を提案する。未対応データを活用し、光流に基づく損失関数を用いて時間的およびステレオ一貫性を強制することで、視覚的に洗練され、幾何学的に整合性のある画像系列を生成する。この手法により、夜間の困難な条件下でも特徴ベースおよび直接的VO手法の精度と耐障害性が顕著に向上する。

ABSTRACT

We propose the concept of a multi-frame GAN (MFGAN) and demonstrate its potential as an image sequence enhancement for stereo visual odometry in low light conditions. We base our method on an invertible adversarial network to transfer the beneficial features of brightly illuminated scenes to the sequence in poor illumination without costly paired datasets. In order to preserve the coherent geometric cues for the translated sequence, we present a novel network architecture as well as a novel loss term combining temporal and stereo consistencies based on optical flow estimation. We demonstrate that the enhanced sequences improve the performance of state-of-the-art feature-based and direct stereo visual odometry methods on both synthetic and real datasets in challenging illumination. We also show that MFGAN outperforms other state-of-the-art image enhancement and style transfer methods by a large margin in terms of visual odometry.

研究の動機と目的

• 夜間走行などの低照度条件下におけるステレオ視覚オドメトリ（VO）の追跡性能の悪化という課題に対処すること。
• ペairedデータを必要とする既存手法の制限や、時間的およびステレオペア間の幾何的一貫性を維持できない問題を克服すること。
• 特徴抽出と光度誤差最小化を向上させる学習ベースの画像強調フレームワークを構築すること。
• 両方のVO手法（特徴ベースおよび直接的）の信頼性あるカメラポーズ推定を維持するため、空間的・時間的一致性を確保すること。
• 視覚オドメトリの文脈において、最先端の画像強調およびスタイル変換技術と比較して、提案手法の優位性を実証すること。

提案手法

• ペairedデータ収集のコストを回避するため、未対応データからの低照度から明るいステレオ画像系列への画像変換にCycleGANを適応する。
• 時間的依存性をモデル化するために、2つの連続するステレオ画像ペアを処理する新しい生成器アーキテクチャを設計する。
• 連続する強調済みフレーム間の光流に基づく時間的一致性損失を導入し、運動の整合性を維持する。
• 各ステレオペアの左・右画像間の光流を用いてステレオ一貫性損失を組み込み、カメラ間の幾何的整合性を保つ。
• 敵対的損失、サイクル一貫性損失、および新規の一貫性損失を統合した訓練目的関数を構築し、エンドツーエンド最適化を実現する。
• 可逆な敵対的ネットワークを用いて、ペアド監視を必要とせずに明るいシーンから暗いシーンへ有益な特徴を転送する。

実験結果

リサーチクエスチョン

• RQ1 ペアドデータを必要とせずに、GANベースのアプローチが低照度ステレオ画像系列を効果的に強調し、ステレオ視覚オドメトリ性能を向上させられるか？
• RQ2 画像変換中に時間的およびステレオ一貫性をどのように維持できるか、VOシステムの幾何学的忠実性を保つために。
• RQ3 提案手法が、低照度環境下での特徴ベースおよび直接的ステレオVO手法の追跡精度と耐障害性をどの程度向上させるか？
• RQ4 VO性能の観点から、MFGANは他の最先端の画像強調およびスタイル変換手法と比較して、定量的にどの程度優れているか？
• RQ5 提案された一貫性損失は、実世界の困難な照明条件下でもVOの信頼性を向上させるために一般化可能か？

主な発見

• MFGANは、低照度シーケンスにおいてStereo ORB-SLAMの追跡点数を平均106から289に顕著に向上させた。
• ORB-SLAMの平均再投影誤差は、MFGAN強調シーケンスで低減され、再投影残差が小さい点の割合が、元の夜間画像と比較して高くなった。
• Stereo DSOは、MFGAN強調シーケンスで追跡精度に顕著な改善を示し、シーケンス01では相対的移動誤差が77.6から5.41に、シーケンス09では36.20から5.57に低下した。
• AHE、LIME、DP、ToDayGAN、DRIT、LinearTransferなど他の手法と比較して、MFGANは全シーケンスで最小の相対的移動および回転誤差を達成した。
• DSOでは全シーケンスの平均相対的移動誤差が5.67に低下し、ORB-SLAMでは6.83にまで低下したが、ベースライン手法では44を超えた。
• 視覚的分析により、MFGANはハロー効果や動的照明アーティファクトを効果的に除去するとともに、画像構造を保持し勾配を強化しており、より信頼性の高い特徴抽出を実現していることが確認された。