[論文レビュー] FlatCam: Thin, Bare-Sensor Cameras using Coded Aperture and Computation

M. Salman Asif, Ali Ayremlou+3 more|arXiv (Cornell University)|Sep 1, 2015

Optical measurement and interference techniques参考文献 33被引用数 67

ひとこと要約

FlatCamは、薄型でレンズのないカメラを提案する。このカメラは、通常の画像センサーの数ミリ上に配置された符号化された開口部マスクを用い、各センサーピクセルがシーンの光の線形結合を記録する。逆問題の解法による計算的手法により画像を再構成可能であり、センサーサイズが大きく、マスク設計が最適化されているため、同等厚さのレンズ式カメラに比べて約100倍の光集光量を達成する。

ABSTRACT

FlatCam is a thin form-factor lensless camera that consists of a coded mask placed on top of a bare, conventional sensor array. Unlike a traditional, lens-based camera where an image of the scene is directly recorded on the sensor pixels, each pixel in FlatCam records a linear combination of light from multiple scene elements. A computational algorithm is then used to demultiplex the recorded measurements and reconstruct an image of the scene. FlatCam is an instance of a coded aperture imaging system; however, unlike the vast majority of related work, we place the coded mask extremely close to the image sensor that can enable a thin system. We employ a separable mask to ensure that both calibration and image reconstruction are scalable in terms of memory requirements and computational complexity. We demonstrate the potential of the FlatCam design using two prototypes: one at visible wavelengths and one at infrared wavelengths.

研究の動機と目的

• 従来のレンズ式設計では、小型化に伴い開口部と光透過量が減少するため、カメラの小型化を実現しながらも光集光量を維持する課題に取り組む。
• レンズを符号化マスクに置き換えることで、薄型化と画像品質のトレードオフを克服する。
• センサーサイズを最大化し、分離可能なマスクを用いることで計算の複雑さを低減し、薄型デバイスにおける高い光集光量を実現する。
• 可視光および赤外線プロトタイプを用いて、近似リアルタイムの再構成を実証し、実現可能性を示す。
• 厚さと開口部サイズを分離することで、従来のミニチューチャライズドレンズカメラに比べて、優れた光集光効率を達成する。

提案手法

• 通常の画像センサーの0.5mm上に配置されたバイナリーマスクを用い、シーンからの光を変調し、センサー上で多重化された測定値を生成する。
• 各ピクセルがマスクパターンを通じて光を統合する線形系としてセンサーレスポンスをモデル化し、線形作用素Hで表現する。
• キャリブレーションおよび再構成におけるメモリおよび計算のスケーラビリティを確保するため、分離可能なマスク設計を採用する。
• 逆問題を解くために特異値分解（SVD）を用い、多重化されたセンサーメジャーを元にシーンを再構成する。
• 市販のセンサーやマスクを用い、マスクは別ウェーハにフォーミングし、センサーにボンディングすることで製造性を確保する。
• 再構成時のノイズ増幅を最小限に抑え、空間分解能を向上させるために、マスクパターンを最適化する。

実験結果

リサーチクエスチョン

• RQ1 センサーニアに配置された符号化された開口部マスクに光学系を置き換えることで、薄型化を実現しながらも高い光集光量を達成できるか？
• RQ2 符号化マスクとセンサー間の距離が、レンズのない画像化システムにおける角度分解能および空間分解能に与える影響は何か？
• RQ3 計算による再構成は、多重化された符号化開口部画像化システムにおける空間分解能の低下をどの程度補償できるか？
• RQ4 分離可能なマスク設計は、レンズのないカメラにおける大規模センサーアレイのキャリブレーションおよび再構成をスケーラブルに可能にするか？
• RQ5 同厚さの従来のミニチューチャライズドレンズカメラに比べ、FlatCamが実現可能な光集光量の優位性はどの程度か？

主な発見

• FlatCamプロトタイプは、大規模なセンサーサイズと高い有効数値開口部を維持するマスクのおかげで、同等厚さのレンズ式カメラに比べて約100倍の光集光量を達成している。
• 可視光プロトタイプは、再構成速度が約10 fpsで、撮影から表示までの遅延が約100 msである近似リアルタイムで動作している。
• 可視光プロトタイプのTWR（厚さ対幅比）は約0.075であり、通常のレンズ式カメラに比べて顕著に低く、優れた光集光量を実現している。
• 分離可能なマスクの使用により、キャリブレーションおよび再構成がスケーラブルとなり、メモリおよび計算の複雑さが低減されている。
• 再構成におけるノイズ増幅は本質的であるが、マスクパターンの慎重な設計により制御可能であり、高周波数成分は線形系の条件数の制限により依然として制限されている。
• 本システムは可視光および短波長赤外線（SWIR）波長帯で実現可能であり、SWIRプロトタイプではマスクとセンサー間の間隔が5mmである。