[論文レビュー] A Framework for the Analysis of Computational Imaging Systems with Practical Applications

Kaushik Mitra, Oliver S. Cossairt+1 more|arXiv (Cornell University)|Aug 8, 2013

Advanced Vision and Imaging参考文献 59被引用数 4

ひとこと要約

本稿は、ガウス・ミックスチャーモデル（GMM）を用いて光学多重化、センサーノイズ、信号の事前分布を統合的にモデル化する、計算画像処理（CI）システムの包括的で解析可能なフレームワークを提案する。MMSE（最小平均二乗誤差）の解析的表現を導出することで、信号の事前分布のみに依存する場合を上回る多重化による性能向上を定量的に評価し、特に低照度条件下で顕著な向上が得られることを明らかにした。EDOF、運動ぶれ補正、光場系の各分野で顕著な性能向上が確認された。

ABSTRACT

Over the last decade, a number of Computational Imaging (CI) systems have been proposed for tasks such as motion deblurring, defocus deblurring and multispectral imaging. These techniques increase the amount of light reaching the sensor via multiplexing and then undo the deleterious effects of multiplexing by appropriate reconstruction algorithms. Given the widespread appeal and the considerable enthusiasm generated by these techniques, a detailed performance analysis of the benefits conferred by this approach is important. Unfortunately, a detailed analysis of CI has proven to be a challenging problem because performance depends equally on three components: (1) the optical multiplexing, (2) the noise characteristics of the sensor, and (3) the reconstruction algorithm. A few recent papers have performed analysis taking multiplexing and noise characteristics into account. However, analysis of CI systems under state-of-the-art reconstruction algorithms, most of which exploit signal prior models, has proven to be unwieldy. In this paper, we present a comprehensive analysis framework incorporating all three components. In order to perform this analysis, we model the signal priors using a Gaussian Mixture Model (GMM). A GMM prior confers two unique characteristics. Firstly, GMM satisfies the universal approximation property which says that any prior density function can be approximated to any fidelity using a GMM with appropriate number of mixtures. Secondly, a GMM prior lends itself to analytical tractability allowing us to derive simple expressions for the `minimum mean square error' (MMSE), which we use as a metric to characterize the performance of CI systems. We use our framework to analyze several previously proposed CI techniques, giving conclusive answer to the question: `How much performance gain is due to use of a signal prior and how much is due to multiplexing?

研究の動機と目的

• 計算画像処理（CI）システムの統一的性能分析フレームワークが、多重化、センサーノイズ、信号の事前分布を同時に考慮していないという問題に対処すること。
• 実際の低照度条件下において、多重化と信号の事前分布がCIシステムの性能向上に寄与する相対的寄与度を定量化すること。
• 任意の信号の事前分布を高精度に近似可能なガウス・ミックスチャーモデル（GMM）を用いて、解析的に扱いやすいモデルを構築し、閉形式でのMMSE計算を可能にすること。
• 解析的にアクセス可能で、照度条件に応じて予測可能な性能指標（MMSE）を提供することで、CIシステムの体系的設計と最適化を可能にすること。
• 波frontコーディング、フラッターシャッタ、光場カメラなどの既存CI技術の性能限界を、多重化と事前分布由来の寄与に分解することで、実用的な洞察を提供すること。

提案手法

• ガウス・ミックスチャーモデル（GMM）を用いて信号の事前分布をモデル化し、その普遍的近似特性を活用して多様な信号分布を高精度に表現する。
• 線形CIシステムにおける再構成精度の定量的評価を可能にするために、MMSE（最小平均二乗誤差）を主な性能指標として採用する。
• 光子数対読み出しノイズ比（J/σ²）の広い範囲で計算効率が良く、精度の高いMMSEの解析的下界・上界を導出する。
• GMMに基づくMMSEフレームワークを用いて、性能向上を多重化と信号の事前分布の寄与に分解し、光学コーディングの真の利点を明確に分離する。
• EDOF（例：波frontコーディング）、運動ぶれ補正（例：運動不変系）、光場（例：Lytro）システムにおいて、解析的境界と正確なMMSE計算を比較して妥当性を検証する。
• フレームワークを応用してシステム設計の最適化を実施し、最適な多重化行列の特定や、異なる画像モダリティ間のトレードオフの評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 計算画像処理システムにおける多重化は、信号の事前分布のみに依存する場合を上回る性能向上をどの程度達成するか？
• RQ2 特に低照度条件下において、多重化と信号の事前分布がSNR向上に与える寄与度は、どのように変化するか？
• RQ3 解析的に扱いやすいモデルが、EDOF、運動ぶれ補正、光場カメラを含む多様なCIシステムのMMSEを正確に近似できるか？
• RQ4 従来のインパulseイメージングと比較した場合、既存のCIシステム（例：波frontコーディング、フラッターシャッタ、Lytro）のSNR向上性能の相対的順位は何か？
• RQ5 提案されたフレームワークは、最適な多重化行列やパrameter（例：絞りの大きさ、シャッタコード）を特定することで、新しいCIシステムの最適設計を支援できるか？

主な発見

• 多重化は、特に低照度条件下で信号の事前分布のみに依存する場合を上回る顕著な性能向上をもたらす。EDOFシステムにおける波frontコーディングでは、最大9.6 dBのSNR向上が達成された。
• 運動ぶれ補正技術の中で、運動不変系が最も高い性能を示し、低照度条件下でインパルスイメージング比で7.5 dBのSNR向上を達成した。
• 光場システムにおいては、Lytroカメラが最も優れた性能を示し、高照度条件下でインパルスイメージング比で12 dBのSNR向上を達成した。
• GMMに基づくMMSE下界は、広い照度範囲（0.01 ≤ J/σ² ≤ 100）で正確なMMSEをよく近似しており、性能予測への適用妥当性が裏付けられた。
• 信号の事前分布は多重化単体よりもSNR向上に寄与が大きいが、多重化も特に低照度領域では顕著な向上をもたらす。
• 本フレームワークにより、最適な絞りの大きさやフラッターシャッタコードの特定といった、CIシステムの体系的最適化が可能になった。解析的かつ予測可能な性能指標を提供した。