[論文レビュー] Various Total Variation for Snapshot Video Compressive Imaging

Xin Yuan|arXiv (Cornell University)|May 16, 2020

Sparse and Compressive Sensing Techniques参考文献 33被引用数 4

ひとこと要約

本稿は、複数の最適化ソルバーを用いたスナップショット動画圧縮イメージング（SCI）再構成における非等方的TV（ATV）、等方的TV（ITV2D）、3次元等方的TV（ITV3D）の性能を調査する。シミュレーションおよび実データにおいて、ITV3Dは一貫して最高の再構成品質を達成する。FPGおよびGAPソルバーは、速度と精度のバランスが最も優れており、GAPはより少ない反復回数で優れた結果を達成する。

ABSTRACT

Sampling high-dimensional images is challenging due to limited availability of sensors; scanning is usually necessary in these cases. To mitigate this challenge, snapshot compressive imaging (SCI) was proposed to capture the high-dimensional (usually 3D) images using a 2D sensor (detector). Via novel optical design, the {\em measurement} captured by the sensor is an encoded image of multiple frames of the 3D desired signal. Following this, reconstruction algorithms are employed to retrieve the high-dimensional data. Though various algorithms have been proposed, the total variation (TV) based method is still the most efficient one due to a good trade-off between computational time and performance. This paper aims to answer the question of which TV penalty (anisotropic TV, isotropic TV and vectorized TV) works best for video SCI reconstruction? Various TV denoising and projection algorithms are developed and tested for video SCI reconstruction on both simulation and real datasets.

研究の動機と目的

• スナップショット動画圧縮イメージング（SCI）における、非等方的TV（ATV）、等方的TV（ITV2D）、3次元等方的TV（ITV3D）のうち、どのTV定式化が最高の再構成性能を達成するかを特定すること。
• FISTA、TwIST、FGP、ADMM、GAPといったさまざまな最適化ソルバーが、異なるTV正則化と組み合わせてSCI再構成に与える有効性を評価すること。
• シミュレーションおよび実SCIデータセット上で、異なるTV-ソルバー組み合わせの再構成品質と収束速度を比較すること。
• 効率的で高品質な動画SCI再構成を実現するための、TV定式化とソルバーの最適な組み合わせを同定すること。

提案手法

• SCI再構成問題を、データ適合項 ‖y−Φx‖₂²/2 とTV正則化項の和を最小化する制約付き最適化問題として定式化する。
• 非等方的TV（各2DフレームにおけるATV）、等方的TV（各フレームごとのITV2D）、3次元等方的TV（3次元データキューブ全体におけるITV3D）の3つのTV定式化を提案する。
• FISTA、TwIST、FGP、ADMM、GAPの5つの最適化フレームワークを用い、それぞれ異なるTV正則化と組み合わせて再構成問題を解く。
• 空間的TVノルムを効率的に計算するために、センシング行列Φおよび勾配演算子DhとDvのベクトル化表現を用いる。
• FGPおよびGAPソルバーでは、反復的しきい値処理と収縮手法を適用し、GAPでは収束を高速化するための適応的ラインサーチを用いる。
• すべての組み合わせを、シミュレーションデータセット（Kobe、Traffic、Runner、Drop）およびDMDベースのSCIカメラで撮影した実データ（B=10、512×512解像度）でテストする。

実験結果

リサーチクエスチョン

• RQ1 スナップショット圧縮イメージングにおける、非等方的TV（ATV）、等方的TV（ITV2D）、3次元等方的TV（ITV3D）のうち、どのTV定式化が最高の品質の動画再構成を達成するか？
• RQ2 FISTA、TwIST、FGP、ADMM、GAPといった異なる最適化ソルバーは、さまざまなTV正則化を伴うSCI再構成において、収束速度と再構成精度の点でどのように比較されるか？
• RQ3 特定の最適化ソルバーにおける性能に、TV定式化の選択が顕著に影響を与えるか？
• RQ4 FGPまたはGAPソルバーは、FISTAやTwISTよりも優れた再構成品質を達成しつつ、高速な収束を維持できるか？
• RQ5 シミュレーションデータと実世界のSCIデータの間で、再構成結果および収束特性はどのように変化するか？

主な発見

• すべてのシミュレーションデータセットにおいて、ITV3Dは一貫して最高の平均PSNRを達成し、ATVおよびITV2Dを上回る。最高の結果はGAP-ITV3Dで27.56 dBであった。
• GAPおよびADMMソルバーは、500回を超える反復を要するTwISTよりも、収束が早く、より優れた再構成品質を達成する。
• FISTAは収束が最も速いが、ぼやけた結果を出力し、反復回数を増やしても改善しないことから、収束品質が低いことが示された。
• FGPベースのソルバー（特にATVまたはITV2Dと組み合わせたFGP）は、速度と精度のバランスが最も優れており、FGPはわずか5反復で良好な結果を達成する。
• 実データ（B=10）において、GAPを用いたITV3D-FGPは、高速に動く手の再構成が最も明確で、FISTAおよびADMMを視覚的品質と収束速度の両面で上回った。
• 実データの実験では、FISTAは40反復で妥当な結果を出力したが、その後も改善しなかった。一方、ADMMおよびGAPは150反復まで改善を続け、GAPが最終的に最も優れた結果を出した。