[論文レビュー] Motion Equivariant Networks for Event Cameras with the Temporal Normalization Transform

Alex Zihao Zhu, Ziyun Wang+1 more|arXiv (Cornell University)|Feb 18, 2019

Functional Brain Connectivity Studies参考文献 24被引用数 5

ひとこと要約

本論文は、時刻で空間座標を正規化することにより、光流に不変となるようにイベントカメラデータを変換するTemporal Normalization Transform (TNT)を提案する。これにより、CNNが広範なデータ拡張なしで動きの変化に一般化できる。本手法は、N-MNISTおよび多様な動き方向を有する新しいN-MOVING-MNISTデータセットにおいて、最先端の性能を達成した。

ABSTRACT

In this work, we propose a novel transformation for events from an event camera that is equivariant to optical flow under convolutions in the 3-D spatiotemporal domain. Events are generated by changes in the image, which are typically due to motion, either of the camera or the scene. As a result, different motions result in a different set of events. For learning based tasks based on a static scene such as classification which directly use the events, we must either rely on the learning method to learn the underlying object distinct from the motion, or to memorize all possible motions for each object with extensive data augmentation. Instead, we propose a novel transformation of the input event data which normalizes the $x$ and $y$ positions by the timestamp of each event. We show that this transformation generates a representation of the events that is equivariant to this motion when the optical flow is constant, allowing a deep neural network to learn the classification task without the need for expensive data augmentation. We test our method on the event based N-MNIST dataset, as well as a novel dataset N-MOVING-MNIST, with significantly more variety in motion compared to the standard N-MNIST dataset. In all sequences, we demonstrate that our transformed network is able to achieve similar or better performance compared to a network with a standard volumetric event input, and performs significantly better when the test set has a larger set of motions than seen at training.

研究の動機と目的

• 標準のCNNが動き依存的なイベント表現のため、動きの変動に苦しむイベントベース分類の課題に対処すること。
• イベント座標の幾何的変換により動き不変特徴を学習することで、データ拡張への依存度を低下させること。
• テスト時の動きがトレーニング時と異なる低データレジームにおいて、一般化性能を向上させること。
• 30の動き方向を有する新しいデータセットN-MOVING-MNISTを構築し、動きのロバストネスをより良く評価すること。
• TNTによる動きの不変性が、未観測の動きパターンでのテストにおいて優れた性能をもたらすことを実証すること。

提案手法

• 各イベント (x, y, t) を (x/t, y/t, t) に変換するTemporal Normalization Transform (TNT) を提案。これにより、動きが時空間ドメインで一様な並進に変換される。
• 空間変換器を用いたランドマーク回帰ネットワークを適用し、中心となるランドマークを推定することで、イベントをその周囲に中心化し、並進不変性を実現する。
• TNT変換済みのイベントを標準の3次元CNNの入力として使用し、畳み込み層の動きに起因する並進に起因する不変性を活用する。
• 2段階パイプライン（ランドマーク検出 → TNT変換）を採用し、不変性と不変性の両方を保証する。
• 定常な光流条件下でTNTが光流に不変であることを示す理論的同等性を導出する。
• 変換済みイベントボリュームに標準の3次元畳み込みを用いたボリューム特徴抽出CNNを適用し、分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 座標変換によって、イベントベースデータにおけるCNNの光流に不変となる可能性は有るか？ これにより、動きの変化にわたる一般化性能が向上するか？
• RQ2 Temporal Normalization Transform (TNT) は、イベントベース分類におけるデータ拡張の必要性を低減するか？
• RQ3 テスト時の動きがトレーニング時に見られなかった場合、特に低データレジームにおいて、本手法の性能はいかがなっているか？
• RQ4 学習されたランドマークは、固定された中心化よりも性能向上をもたらすか？
• RQ5 N-MOVING-MNISTのような高動的多様性を持つデータセットにおいて、本手法はどのようにスケーリングするか？

主な発見

• TNT変換済みネットワークは、N-MNISTデータセットにおいて、標準のボリュームCNNと同等またはそれ以上の性能を達成した。
• 30の動き方向を有するN-MOVING-MNISTデータセットにおいて、テスト時の動きがトレーニング時の多様性を超える場合、TNT手法は標準CNNを顕著に上回った。
• 未観測の動きパターンに対しても良好な一般化性能を示し、ゼロショットの動き一般化シナリオにおいてロバストであることが実証された。
• ランドマーク回帰ネットワークは、固定中心化よりもわずかに性能を向上させ、関連するイベントコンテンツの局在化が改善されたことを示した。
• 理論的分析により、TNTが定常な光流条件下で光流に不変であることが確認された。これにより、畳み込み層を通過する際の動きの影響が保持された。
• 本手法により、動きの変化を学習するためのネットワーク容量が削減された。これは、変換によって動き不変性を明示的に符号化しているため、データから学習させるのではなく、変換によって実現しているからである。