[論文レビュー] Unsupervised Optical Flow Estimation with Dynamic Timing Representation for Spike Camera

Lujie Xia, Ziluo Ding+6 more|arXiv (Cornell University)|Jul 12, 2023

CCD and CMOS Imaging Sensors被引用数 4

ひとこと要約

本稿では、多層の拡張畳み込みとレイヤー注意機構を用いた動的タイミング表現に基づく、スパイクカメラデータ向けの教師なし光流推定手法USFlowを提案する。この手法は、Δt=10およびΔt=20のPHMデータセットでそれぞれ15%および19%の誤差低減を達成し、提案されたSSESデータセットを用いて実環境および合成された極端なドライブシナリオにおいて優れた汎化性能を示す。

ABSTRACT

Efficiently selecting an appropriate spike stream data length to extract precise information is the key to the spike vision tasks. To address this issue, we propose a dynamic timing representation for spike streams. Based on multi-layers architecture, it applies dilated convolutions on temporal dimension to extract features on multi-temporal scales with few parameters. And we design layer attention to dynamically fuse these features. Moreover, we propose an unsupervised learning method for optical flow estimation in a spike-based manner to break the dependence on labeled data. In addition, to verify the robustness, we also build a spike-based synthetic validation dataset for extreme scenarios in autonomous driving, denoted as SSES dataset. It consists of various corner cases. Experiments show that our method can predict optical flow from spike streams in different high-speed scenes, including real scenes. For instance, our method gets $15\%$ and $19\%$ error reduction from the best spike-based work, SCFlow, in $Δt=10$ and $Δt=20$ respectively which are the same settings as the previous works.

研究の動機と目的

• スパイクカメラデータにおける高スルーレートシーンの教師なし光流推定の課題に取り組むこと。
• 最小限のパラメータでスパイクストリームから顕著な時間的特徴を効率的に抽出できる動的タイミング表現を設計すること。
• スパイク間隔から光の強度を推定するスパイクベースの教師なし損失関数を設計し、照度の一貫性を強制すること。
• 高スルーレート、レア、危険なイベントを含む極端な自動走行シナリオを評価するための合成データセット（SSES）を構築すること。
• 実世界データ、ベンチマークデータセット（PHM）、および提案されたSSESデータセットにおいて、最先端の性能を示すこと。

提案手法

• 時間方向に多層の拡張畳み込みを用いた時系列マルチスケール表現（TMR）を提案し、異なる受容fieldを持つ特徴を抽出することで、多時間スケール特徴の学習を可能にする。
• 異なる拡張層からの特徴を動的に統合するためのレイヤー注意（LA）モジュールを導入し、余分な情報をフィルタリングするとともに顕著な時間的パターンを強調する。
• スパイク間隔から光の強度を推定する新しい教師なし損失関数を設計し、二つの戦略（複数の時間間隔ベース、複数の時間窓ベース）を用いて、異なる運動速度の領域に適応する。
• 推定された光の強度を用いて照度の一貫性損失を計算し、教師なし光流の学習をエンドツーエンドで可能にする。
• CARLAシミュレータを用いて、40K Hzのスパイクフレームと500 fpsのRGBフレームを含む、高スルーレートの極端なドライブシナリオをシミュレートしたSSES合成データセットを生成する。
• SPIFTで学習し、PHMおよびSSESで評価する。光流推定のバックボーンネットワークとしてPWC-Flowを用いる。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みに基づく動的タイミング表現は、スパイクストリームから多スケールの時間的特徴を効果的に抽出でき、光流推定に有効であるか？
• RQ2 教師なし学習は、教師ありのラベルが存在しないスパイクベースのデータにどのように適応され、光流推定が可能になるか？
• RQ3 スパイク間隔から光の強度を推定するスパイクベースの教師なし損失関数は、光流推定性能を向上させることができるか？
• RQ4 提案手法は、実世界の高スルーレートシーンおよび極端な自動走行シナリオに良好に一般化できるか？
• RQ5 極端なドライブシナリオの合成データセット（SSES）は、スパイクベース光流モデルのロバストネスを効果的に検証できるか？

主な発見

• PHMデータセットにおいてΔt=10では1.307の平均AEE、Δt=20では2.413を達成し、先行する最先端のスパイクベース手法SCFlowと比べてそれぞれ15%および19%の誤差低減を実現した。
• アブレーションスタディの結果、動的光の強度推定を組み込んだ提案された教師なし損失が、特に異なる運動速度の領域を扱う際に、他の変種と比較して顕著に性能向上を示した。
• レイヤー注意モジュールは、わずかな性能向上の一方で訓練の安定性と収束速度を向上させ、より良い特徴選択に寄与した。
• USFlowは実世界データにおいて強力な汎化性能を示し、複雑で高スルーレートのシーンでも視覚的に正確な光流予測を生成した。
• 提案されたSSESデータセットにおいて、USFlowは競争力のある性能を示し、Δt=10では平均AEEが3.122、Δt=20では3.130を達成し、極端なドライブシナリオにおけるロバストネスを示した。
• SSESデータセットは、多様で高スルーレートかつレアな事故発生シナリオを効果的に捉えており、極端な条件下でのモデルのロバストネス評価を可能にした。