[論文レビュー] A Picture is worth a Billion Bits: Real-Time Image Reconstruction from Dense Binary Pixels

Tal Remez, Or Litany+1 more|arXiv (Cornell University)|Oct 15, 2015

Photoacoustic and Ultrasonic Imaging被引用数 3

ひとこと要約

本稿では、高動的範囲（HDR）画像を、密な2値ピクセルセンサーからの過サンプリング2値測定値からリアルタイムに再構成するアルゴリズムを提案する。最大尤度（ML）データ適合項とスパース合成事前分布を組み合わせることで、アーチファクトと高い計算コストを克服する。本手法は、効率的かつハードウェアに適した再構成を可能とし、合成データおよび実世界のデータを模擬した環境で、高品質なHDR画像の再構成を達成する。

ABSTRACT

The pursuit of smaller pixel sizes at ever increasing resolution in digital image sensors is mainly driven by the stringent price and form-factor requirements of sensors and optics in the cellular phone market. Recently, Eric Fossum proposed a novel concept of an image sensor with dense sub-diffraction limit one-bit pixels jots, which can be considered a digital emulation of silver halide photographic film. This idea has been recently embodied as the EPFL Gigavision camera. A major bottleneck in the design of such sensors is the image reconstruction process, producing a continuous high dynamic range image from oversampled binary measurements. The extreme quantization of the Poisson statistics is incompatible with the assumptions of most standard image processing and enhancement frameworks. The recently proposed maximum-likelihood (ML) approach addresses this difficulty, but suffers from image artifacts and has impractically high computational complexity. In this work, we study a variant of a sensor with binary threshold pixels and propose a reconstruction algorithm combining an ML data fitting term with a sparse synthesis prior. We also show an efficient hardware-friendly real-time approximation of this inverse operator.Promising results are shown on synthetic data as well as on HDR data emulated using multiple exposures of a regular CMOS sensor.

研究の動機と目的

• マイクロスケールの1ビットピクセルセンサーにおける、サブディファラクション限界以下の解像度で過サンプリングされた2値測定値からHDR画像を再構成する課題に対処すること。
• 画像アーチファクトと高い計算複雑性を抱える既存の最大尤度（ML）手法の限界を克服すること。
• リアルタイムのハードウェア実装に適した、かつ高精度な再構成フレームワークを開発すること。

提案手法

• 画像の構造をモデル化するため、最大尤度（ML）データ適合項とスパース合成事前分布を組み合わせた再構成問題を定式化する。
• スパース合成表現を用いて解を正則化し、再構成出力に自然画像の特徴を促進する。
• データ適合性とスパarsityのバランスを取る高速収束を実現する効率的な最適化アルゴリズムを導出する。
• 組み込みシステムでのリアルタイム処理を可能にするために、逆演算子のハードウェアに適した近似を導入する。
• 非滑らか最適化問題を効率的に解くために、プロキシスプリッティング法を採用する。
• 標準CMOSセンサーの複数露出からの模擬HDRデータおよび合成データを用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 MLとスパース合成事前分布を組み合わせた再構成アルゴリズムは、2値画像再構成におけるアーチファクトを低減できるか？
• RQ2 リアルタイム実装を実現する上で、再構成品質を維持しつつ計算複雑性をどのように低減できるか？
• RQ3 提案手法は、標準ML手法に比べて、アーチファクト抑制と速度の面でどの程度優れているか？
• RQ4 過サンプリングされた2値測定値から、HDR画像を効果的に再構成できるか？
• RQ5 複数露出の模擬を用いた実世界データに対して、アルゴリズムの一般化性能はどの程度高いか？

主な発見

• 提案手法は、標準的な最大尤度再構成法に比べて画像アーチファクトを顕著に低減し、視覚的に優れた結果をもたらす。
• 逆演算子のハードウェアに適した近似を効果的に用いることで、アルゴリズムはリアルタイム性能を達成する。
• 合成データおよび模擬HDRデータに対する定量的評価により、ベースラインのML手法に比べて再構成品質が向上していることが確認された。
• スパース合成事前分布は、自然画像の構造を効果的に促進し、エッジおよびテクスチャの忠実度を向上させる。
• 極端な量子化に強く、1ビットピクセルデータからも高動的範囲再構成が可能であることが示された。
• ハードウェアに配慮した設計により、組み込みシステムへの実用的導入が可能となり、従来の計算ボトル neck を克服した。