[論文レビュー] Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network

Rui Zhang, Luziwei Leng+6 more|arXiv (Cornell University)|Apr 24, 2023

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、階層的ニューラルアーキテクチャ探索と新規のデュアルパススパikingスパティアルリーケイプアダプティブモジュレーション（SSAM）ブロックを活用し、スパースなイベント表現を向上させる、イベントベースのセマンティックセグメンテーション向けの適応的スパッキングエンコーダ・デコーダネットワークを提案する。DDD17で72.57% MIoU、DSEC-Semanticで57.22%を達成し、最良のANNを4%上回る最先端の性能を発揮するとともに、計算コストとエネルギー消費を顕著に低減する。

ABSTRACT

Spiking neural networks (SNNs), known for their low-power, event-driven computation and intrinsic temporal dynamics, are emerging as promising solutions for processing dynamic, asynchronous signals from event-based sensors. Despite their potential, SNNs face challenges in training and architectural design, resulting in limited performance in challenging event-based dense prediction tasks compared to artificial neural networks (ANNs). In this work, we develop an efficient spiking encoder-decoder network (SpikingEDN) for large-scale event-based semantic segmentation tasks. To enhance the learning efficiency from dynamic event streams, we harness the adaptive threshold which improves network accuracy, sparsity and robustness in streaming inference. Moreover, we develop a dual-path Spiking Spatially-Adaptive Modulation module, which is specifically tailored to enhance the representation of sparse events and multi-modal inputs, thereby considerably improving network performance. Our SpikingEDN attains a mean intersection over union (MIoU) of 72.57\% on the DDD17 dataset and 58.32\% on the larger DSEC-Semantic dataset, showing competitive results to the state-of-the-art ANNs while requiring substantially fewer computational resources. Our results shed light on the untapped potential of SNNs in event-based vision applications. The source code will be made publicly available.

研究の動機と目的

• イベントベースビジョンのセマンティックセグメンテーションのような密度予測タスクにおける競争力のあるSNNの欠如に対処すること。
• 正規化やアテンションなどの現代のディープラーニングコンponentsと互換性のないSNNのアーキテクチャ的・訓練的課題を克服すること。
• 大規模なイベントベースデータセット上で、最先端のANNと同等またはそれを上回る性能を発揮する低消費電力で効率的なSNNアーキテクチャを設計すること。
• 適応的スレッショルドメカニズムとMFI互換モジュールが、スパースでダイナミックなイベントストリームにおけるSNN性能をどのように向上させるかを調査すること。
• SNNが複雑なビジョンタスクにおいて、超低計算量・低エネルギー消費を維持しながらも、ANNを上回ることを実証すること。

提案手法

• 提案されたネットワークは、セルレベルおよびレイヤーレベルで階層的な探索手法を用い、15エポックにわたる反復的バイレベル最適化によりエンコーダアーキテクチャを最適化する。
• 高ダイナミックレンジのイベント入力に応じて活性化を動的に調節するため、スパッキングニューロンに適応的スレッショルドメカニズムを導入し、時間的応答性を向上させる。
• スパースなイベントの表現を向上させるために、乗算フリー推論（MFI）と互換性を持つデュアルパススパッキングスパティアルリーケイプアダプティブモジュレーション（SSAM）ブロックを設計した。
• ネットワークは、Adam最適化法を用いたサロゲート勾配バックプロパゲーションで訓練され、学習率はPoly戦略によるスケジューリングが適用され、アーキテクチャ探索後にチャネル拡張が実施される。
• 純粋なイベント入力およびハイブリッドなイベント＋フレーム入力の両方でモデルを評価し、グレースケール画像の導入がエッジ検出および小サイズオブジェクト検出を向上させることを示した。
• アーキテクチャ探索は20エポックにわたり、4つのランダムシードで実施され、バリデーションMIoUがキーチェックポイントで最も高かったアーキテクチャが選定された。

実験結果

リサーチクエスチョン

• RQ1 SNNは、イベントベースのセマンティックセグメンテーションにおいて、最先端の性能を達成でき、さらには高度なANNをも上回ることができるか？
• RQ2 スパッキングニューロンに組み込まれた適応的スレッショルドメカニズムは、ダイナミックでスパースなイベントストリームにおける性能をどのように向上させるか？
• RQ3 MFI互換性を持つデュアルパスSSAMブロックは、SNNにおけるスパースイベントの表現をどの程度向上させるか？
• RQ4 階層的ニューラルアーキテクチャ探索は、効率性を損なうことなく、密度予測タスクに適したSNNを効果的に最適化できるか？
• RQ5 グレースケール画像の統合は、特に小サイズまたは細部構造を持つオブジェクトに対して、セマンティックセグメンテーションの精度を向上させるか？

主な発見

• 提案されたSNNは、DDD17データセットで72.57%の平均インターセクションオーバーユニオン（MIoU）を達成し、最良の性能を示したANNを4%上回った。
• より大規模で高解像度のDSEC-Semanticデータセットでは、SNNが57.22%のMIoUを達成し、最先端のANNベース手法を4%上回った。
• アーキテクチャ探索プロセスにより、最適化されていないベースラインと比較してネットワーク性能が約19%向上し、複数のランダムシードで一貫した向上が確認された。
• グレースケール画像の導入により、'human'クラスと'vehicle'クラスのIoUがそれぞれ35.82%および28.57%向上し、エッジ検出が明確になった。
• ANNと比較して、より少ない演算量で、潜在的エネルギー消費も低く抑えられており、低消費電力アプリケーションに適していることが確認された。
• 本研究では、初めてSNNが、複雑で大規模なイベントベースのセマンティックセグメンテーションタスクにおいて、ANNを上回ることを実証した。