[論文レビュー] Image Stylization for Robust Features

Iaroslav Melekhov, Gabriel Brostow+2 more|arXiv (Cornell University)|Aug 16, 2020

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 15

ひとこと要約

本論文では、日中・夜間、天候、季節の変化などの外観変化に対する局所特徴のロバスト性を向上させるために、訓練中に画像スタイル化を活用する手法を提案する。複数のスタイライズド画像バージョン（例：夜間、雪、雨）を合成ホモグラフィーと組み合わせることで、R2D2特徴が極端な視覚的条件下でも一般化できるように訓練し、3D対応点や実世界の3D再構築を一切必要とせずに、視覚的局所化ベンチマークで最先端の性能を達成した。

ABSTRACT

Local features that are robust to both viewpoint and appearance changes are crucial for many computer vision tasks. In this work we investigate if photorealistic image stylization improves robustness of local features to not only day-night, but also weather and season variations. We show that image stylization in addition to color augmentation is a powerful method of learning robust features. We evaluate learned features on visual localization benchmarks, outperforming state of the art baseline models despite training without ground-truth 3D correspondences using synthetic homographies only. We use trained feature networks to compete in Long-Term Visual Localization and Map-based Localization for Autonomous Driving challenges achieving competitive scores.

研究の動機と目的

• 視覚的局所化において、日中・夜間、天候、季節の変化などの外観変化に対する局所特徴のロバスト性を向上させること。
• 画像スタイル化が標準的な色補正とは異なり、特徴の一般化を向上させるかどうかを調査すること。
• スタイライズドデータ増強が3D対応点やSfM再構築による訓練と同等またはそれを上回る性能を達成できるかどうかを評価すること。
• 自律走行用のマップベース局所化や長期的視覚的局所化などの実世界ベンチマークで、競争力のある性能を示すことを目的とすること。
• 訓練時に複数のスタイライズドスタイル（例：夜間、雪、雨）を用いることで、外観増強の多様性を高めることの有効性を検討すること。

提案手法

• ニューラルスタイル転送を用いて生成されたオリジナル画像とスタイライズド画像のペアを用いて、特徴ネットワークを訓練する。
• 合成ホモグラフィーを適用して、オリジナル画像およびスタイライズド画像の両方から画像パッチを切り出し、視点の変化をシミュレートする。
• 異なる夜間、雪、雨のスタイルといった複数のスタイライズドターゲットを用いることで、外観増強の多様性を向上させる。
• 3D対応点に依存せずに、合成ホモグラフィーとスタイライズド画像ペアの組み合わせを用いて、R2D2ベースの特徴ネットワークを訓練する。
• 標準的な特徴マッチングおよびリtrievalパイプライン（例：Radenovic et al.）を用いて、ベンチマークデータセットにおける局所化評価を実施する。
• 照明、天候、季節の条件が異なる複数のデータセットにおいて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練時に画像スタイル化を適用することで、日中・夜間および季節による外観変化に対する局所特徴のロバスト性が向上するか？
• RQ2 スタイライズドデータ増強は、標準的な色補正と比較して、外観変化に対するロバスト性において優れているか？
• RQ3 スタイライズドデータ増強は、3D対応点やSfM再構築による訓練で学習されたモデルと同等またはそれ以上の性能を達成できるか？
• RQ4 スタイライズドデータ増強の効果は、使用するスタイルの数と多様性に依存するか？
• RQ5 真の3Dデータが存在しない状況でも、スタイライズド画像増強により実世界の視覚的局所化ベンチマークでの性能向上が達成できるか？

主な発見

• 合成ホモグラフィーと画像スタイル化を用いて訓練したモデルは、ECCV 2020 自動車用長期的視覚的局所化チャレンジにおいて、最先端のベースラインを上回り、『夜間』シーケンスで0.1m、0.2m、0.5mの閾値に対してそれぞれ30.5％／53.8％／78.8％の成功率を達成した。
• 自律走行用マップベース局所化チャレンジにおいて、10k R2D2-P-O2Sモデルは、より困難な『test_sequence1』で0.1m、0.2m、0.5mの閾値に対して13.2％／26.0％／47.8％の成功率を記録し、SuperpointおよびD2-Netのベースラインを上回った。
• 拡張CMUシーズンズデータセットでは、『day all』スプリットで93.8％／96.6％／98.2％の精度を達成し、季節や照明の変化に対して強い一般化性能を示した。
• アブレーションスタディの結果、特に雪や夜間のような極端な条件下では、色補正のみに比べてスタイライズドデータ増強が顕著な向上をもたらすことが確認された。
• Aachen Day-Nightベンチマークでも、『day』スプリットで87.1％／94.7％／98.3％の精度、『night』スプリットで74.3％／86.9％／97.4％の精度を達成し、日中・夜間の一般化性能が優れていることが示された。
• 3D対応点やSfMデータを一切使用せずに訓練したにもかかわらず、複数のベンチマークで最先端の性能を達成した。これは、スタイライズドデータ増強が効果的なデータ増強戦略であることを裏付けた。