[論文レビュー] Formulating Event-based Image Reconstruction as a Linear Inverse Problem with Deep Regularization using Optical Flow

Zelin Zhang, Anthony Yezzi+1 more|arXiv (Cornell University)|Dec 12, 2021

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、光流が与えられたもとで輝度に関する線形逆問題として定式化することにより、イベントベースの画像再構成のための新規で解釈可能なフレームワークを提案する。古典的および深層学習ベースの正則化子を用いて解くことで、再構成RNNの学習を一切行わず、短い時間間隔のイベントと画像ノイズ除去CNNを正則化子として用いることで最先端の画像品質を達成する。

ABSTRACT

Event cameras are novel bio-inspired sensors that measure per-pixel brightness differences asynchronously. Recovering brightness from events is appealing since the reconstructed images inherit the high dynamic range (HDR) and high-speed properties of events; hence they can be used in many robotic vision applications and to generate slow-motion HDR videos. However, state-of-the-art methods tackle this problem by training an event-to-image Recurrent Neural Network (RNN), which lacks explainability and is difficult to tune. In this work we show, for the first time, how tackling the combined problem of motion and brightness estimation leads us to formulate event-based image reconstruction as a linear inverse problem that can be solved without training an image reconstruction RNN. Instead, classical and learning-based regularizers are used to solve the problem and remove artifacts from the reconstructed images. The experiments show that the proposed approach generates images with visual quality on par with state-of-the-art methods despite only using data from a short time interval. State-of-the-art results are achieved using an image denoising Convolutional Neural Network (CNN) as the regularization function. The proposed regularized formulation and solvers have a unifying character because they can be applied also to reconstruct brightness from the second derivative. Additionally, the formulation is attractive because it can be naturally combined with super-resolution, motion-segmentation and color demosaicing. Code is available at https://github.com/tub-rip/event_based_image_rec_inverse_problem

研究の動機と目的

• エンドツーエンドの深層学習ベースのイベントから画像へのネットワークがブラックボックスであり、チューニングが困難でアーチファクトを生じることに起因する限界を解消すること。
• 光流が与えられたもとでの輝度再構成の線形性を活用し、より解釈可能で効率的なソリューションフレームワークを実現すること。
• 超解像、モーショングラデーション、カラーデモザイキングなどの追加タスクをサポートできる統合的逆問題定式化を構築すること。
• データ集約的で説明不能なRNNに代わり、事前学習済みの深層ノイズ除去器を用いた原理的で正則化された最適化アプローチを導入すること。
• 短い時間窓のイベントデータのみを用いても、高品質な画像再構成が可能であることを実証すること、光流を主要な事前知識として活用すること。

提案手法

• 既知の光流場が与えられたもとで、未知の輝度信号に関する線形逆問題としてイベントベースの画像再構成を定式化する。
• 一次のイベント生成モデルを用いて、イベントが輝度と運動の線形関数として表現できる線形システムを導出する。
• アーチファクトを低減し、画像品質を向上させるために、非滑らかで非凸な正則化子として深層画像ノイズ除去畳み込みニューラルネットワーク（CNN）を適用する。
• 正則化された最適化問題を効率的に解くために、交替方向乗数法（ADMM）を用いる。
• 光流推定を別々の、よく研究されたサブプロブレムとして統合し、モジュール型で解釈可能な設計を可能にする。
• 同じ逆問題フレームワークを通じて、超解像、モーショングラデーション、カラーデモザイキングなどの他のタスクへの拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 光流が既知である場合に、イベントベースの画像再構成を線形逆問題として定式化できるか。これにより、学習を伴わない解釈可能なソリューションが可能になるか。
• RQ2 正則化された線形逆問題ソルバの性能は、最先端のエンドツーエンドRNNベースの手法と比較して、画像品質および計算効率の面で優れているか。
• RQ3 微調整なしで事前学習済みの深層画像ノイズ除去CNNが、イベントベースの画像再構成の有効な正則化子として機能できるか。
• RQ4 短い時間窓のイベントデータのみを用いても、提案手法が高い性能を維持できるか。
• RQ5 同じ逆問題定式化を、超解像やモーショングラデーションなどの他のビジョンタスクにどの程度拡張できるか。

主な発見

• 本手法は、短い時間間隔のイベントデータのみを用いても、ベンチマークデータセット上で最先端の画像再構成品質を達成している。
• 事前学習済みの画像ノイズ除去CNNを正則化子として用いることで、最小限のアーチファクトで高忠実度の画像が得られ、視覚的品質において従来のRNNベースの手法を上回っている。
• 運動と輝度推定を分離し、よく理解された最適化技術を用いるため、エンドツーエンドRNNよりもはるかに解釈可能である。
• 線形逆問題定式化により、超解像、モーショングラデーション、カラーデモザイキングへの自然な統合が可能であり、フレームワークの統合的潜在能力を示している。
• 標準ベンチマークにおいて、競争力のあるPSNRおよびSSIMスコアを達成しており、いくつかのシーケンスではPSNRが30 dBを超える報告値を示しており、高視覚的品質を確認している。
• イベントのボクセル化を回避し、関連するメモリオーバーヘッドを低減することで、スパarsなイベントストリームにおける効率的な処理が可能である。