[論文レビュー] Deep Spiking Convolutional Neural Network for Single Object Localization Based On Deep Continuous Local Learning

Sami Barchid, José Mennesson+1 more|arXiv (Cornell University)|May 12, 2021

Advanced Memory and Neural Computing参考文献 25被引用数 7

ひとこと要約

本論文は、教示的局所学習と補助勾配を用いて、グレースケール画像における1対象の局所化を目的とした、DECOLLEフレームワークに基づく深層スパikingニューラルネットワーク（DCSNN）を提案する。Oxford-IIIT-Petデータセットで63.2%のmIoUを達成し、SNNを単純な分類を超える複雑なコンピュータビジョンタスクに適用可能なことが示された。

ABSTRACT

With the advent of neuromorphic hardware, spiking neural networks can be a good energy-efficient alternative to artificial neural networks. However, the use of spiking neural networks to perform computer vision tasks remains limited, mainly focusing on simple tasks such as digit recognition. It remains hard to deal with more complex tasks (e.g. segmentation, object detection) due to the small number of works on deep spiking neural networks for these tasks. The objective of this paper is to make the first step towards modern computer vision with supervised spiking neural networks. We propose a deep convolutional spiking neural network for the localization of a single object in a grayscale image. We propose a network based on DECOLLE, a spiking model that enables local surrogate gradient-based learning. The encouraging results reported on Oxford-IIIT-Pet validates the exploitation of spiking neural networks with a supervised learning approach for more elaborate vision tasks in the future.

研究の動機と目的

• 深層スパikingニューラルネットワーク（SNN）を、単純な分類を超える複雑なコンピュータビジョンタスクに適用可能かどうかを検討すること。
• エネルギー効率の高い神経形態的ハードウェアと、対象局所化のような現代のビジョンタスクの間のギャップを埋めること。
• 教示的局所学習ルール（例：DECOLLE）が、ビジョンタスクにおける階層的特徴学習にSNNに適用可能かどうかを検証すること。
• 静的でレートコーディングされた画像を用いたSNNベースの対象局所化のプロトタイプを確立すること。
• 将来のイベントベースのビジョンシステムにおいて、SNNの潜在的可能性、特に動的センサーを想定して調査すること。

提案手法

• 本手法は、局所的バックプロパゲーションに類似した学習を補助勾配を用いて可能にするDECOLLEスパキングモデルに基づく深層エンコーダ・デコーダアーキテクチャを採用する。
• SNNは、AdaMax最適化アルゴリズムを用い、100エポックにわたり学習率1e-9で滑らかなL1損失関数を用いて学習される。
• 入力画像はグレースケールに変換され、Tタイムステップにわたりレートコーディングによって静的データをスパキング形式に変換される。
• 最終的な予測は、最終的なリードアウト層の最後のタイムステップから選択され、より深い層からの階層的表現が活用される。
• データオーグメンテーションには、ランダムな水平反転と明るさの調整が含まれ、一般化性能の向上を図る。
• ネットワークは局所的シナプス可塑性ルールを用い、誤差信号に基づいて重みを更新することで、グローバルなバックプロパゲーションを回避する。

実験結果

リサーチクエスチョン

• RQ1 教示的局所学習ルールで学習された深層スパキングニューラルネットワーク（SNN）は、対象局所化のような複雑なビジョンタスクを実行できるか？
• RQ2 DECOLLEフレームワークは、レートコーディングを用いた静的画像データに対するSNNの学習にどの程度効果的か？
• RQ3 標準的なディープラーニングモデルと比較して、SNNの対象局所化における性能はいかがなっているか？
• RQ4 データの不均衡と入力コーディングの影響は、SNNの対象局所化性能にどのように現れるか？
• RQ5 静的画像で学習されたSNNは、将来のイベントベースで非同期的なビジョンデータに拡張可能か？

主な発見

• 提案されたDCSNNは、Oxford-IIIT-Petのテストセットで63.2%の平均インターセクションオーバーユニオン（mIoU）を達成し、SNNが対象局所化に適用可能であることが実証された。
• 定性的な結果から、境界ボックスの予測は概ね高い正確性（55–70% mIoU）を示すが、小さな対象や背景に位置する対象では性能が低下する。
• レアな例や難しい例ではモデルの性能が劣る傾向が見られ、これはデータセットにクローズアップされたペット画像が優勢であるデータ不均衡に起因すると考えられる。
• セグメンテーションマスクからバウンディングボックスへの出力変換戦略に情報損失が生じ、座標予測の正確性に悪影響を及ぼしている。
• 本研究は、教示的SNNに局所的学習ルール（例：DECOLLE）を適用することで、複雑なビジョンタスクに応用可能であることを確認した。これは、SNNベースの対象検出に向けた第一歩を示している。
• 今後の研究では、非同期的かつスパースな性質を活かしたイベントカメラの活用を検討すべきである。これにより、エネルギー効率の向上が期待できる。