[論文レビュー] Learning to Super Resolve Intensity Images from Events

Jonghyun Choi, Kuk‐Jin Yoon|arXiv (Cornell University)|Dec 3, 2019

Advanced Memory and Neural Computing参考文献 26被引用数 5

ひとこと要約

本稿では、非同期的なイベントストリームから高解像度・高ダイナミックレンジ（HDR）な強度画像を直接再構成するエンド・ツー・エンドのディーブラーニングネットワークを提案する。この手法は、イベントから画像への変換と超解像処理を組み合わせた最先端のパイプラインを上回る優れた細部回復性能を達成する。本手法は、イベントデータを活用し、必要に応じてアクティブセンサピクセル（APS）フレームの統合や反復的リファイニングを組み合わせることで、再構成品質を向上させる。

ABSTRACT

An event camera detects per-pixel intensity difference and produces asynchronous event stream with low latency, high dynamic range, and low power consumption. As a trade-off, the event camera has low spatial resolution. We propose an end-to-end network to reconstruct high resolution, high dynamic range (HDR) images directly from the event stream. We evaluate our algorithm on both simulated and real-world sequences and verify that it captures fine details of a scene and outperforms the combination of the state-of-the-art event to image algorithms with the state-of-the-art super resolution schemes in many quantitative measures by large margins. We further extend our method by using the active sensor pixel (APS) frames or reconstructing images iteratively.

研究の動機と目的

• イベントカメラの低空間解像度の制限を克服し、非同期的なイベントストリームから高解像度の強度画像を再構成すること。
• イベントデータを高解像度・高ダイナミックレンジ（HDR）画像に直接マップするエンド・ツー・エンドのディープラーニングフレームワークを構築すること。
• 定量的指標において、最先端のイベントから画像への変換と超解像処理を組み合わせたハイブリッド手法を上回ること。
• アクティブセンサピクセル（APS）フレームの統合や反復的画像再構成を活用し、さらなる画像品質向上を検討すること。

提案手法

• 本手法は、生のイベントストリームから高解像度の強度画像を直接再構成するように訓練されたエンド・ツー・エンドのディープニューラルネットワークを採用する。
• ネットワークは、学習可能なフィルタと空間時間的集約モジュールを用いて、非同期的なイベントデータの時間的・空間的パターンを符号化する。
• 再構成画像に細かいディテールやテクスチャ情報を保持するためのマルチスケール特徴量学習を組み込む。
• 利用可能な場合、アクティブセンサピクセル（APS）フレームとの統合をサポートし、空間的正確性を向上させ、アーチファクトを低減する。
• 反復的画像再構成のバリエーションを導入し、複数回のネットワーク通過によって出力画像を精緻に改善する。
• シャープネス、現実性、ディテールのバランスをとるために、知覚的損失、再構成損失、敵対的損失の組み合わせを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのディープラーニングモデルは、低解像度のイベントストリームから高解像度・高ダイナミックレンジの強度画像を効果的に再構成できるか？
• RQ2 提案手法は、最先端のイベントから画像への変換と超解像処理の組み合わせと比較して、定量的にどのように優れているか？
• RQ3 APSフレームや反復的リファイニングといった追加入力は、再構成画像の品質をどの程度向上させるか？
• RQ4 本手法は、既存の手法と比較して、細かなシーンのディテールやテクスチャをよりよく保持できるか？

主な発見

• 提案手法は、最先端のイベントから画像への変換と超解像処理のパイプラインの組み合わせを、複数の定量的指標において顕著に上回る。
• シミュレート済みおよび実世界のイベントシーケンスの両方で、本手法は優れた再構成品質を達成し、細かいシーンディテールをより効果的に捉える。
• アクティブセンサピクセル（APS）フレームを統合することで、画像のシャープネスと空間的正確性に顕著な向上が見られる。
• 反復的画像再構成により、特に困難な照明条件や運動状態においても忠実度が向上する。
• 多様なシーンやダイナミックレンジにわたり、本手法は強固な性能を維持し、一般化能力を示している。