[論文レビュー] Snapshot Difference Imaging using Time-of-Flight Sensors

Clara Callenberg, Felix Heide+2 more|arXiv (Cornell University)|May 19, 2017

Advanced Optical Sensing Technologies参考文献 31被引用数 3

ひとこと要約

本論文は、深度測定の目的ではなく、時間飛行（ToF）センサをアナログ計算画像計測器として用い、1枚の露光でピクセルレベルの差分（時間的・空間的勾配、深度エッジ、直接光のみの画像など）を直接捉える、新規なスナップショット差分画像化技術を提案する。光学路を再構成し、センサの固有のノイズ統計を利用することで、後処理や複数露光を必要とせず、アーチファクトのないリアルタイムな画像差分計算を実現する。

ABSTRACT

Computational photography encompasses a diversity of imaging techniques, but one of the core operations performed by many of them is to compute image differences. An intuitive approach to computing such differences is to capture several images sequentially and then process them jointly. Usually, this approach leads to artifacts when recording dynamic scenes. In this paper, we introduce a snapshot difference imaging approach that is directly implemented in the sensor hardware of emerging time-of-flight cameras. With a variety of examples, we demonstrate that the proposed snapshot difference imaging technique is useful for direct-global illumination separation, for direct imaging of spatial and temporal image gradients, for direct depth edge imaging, and more.

研究の動機と目的

• 複数露光による従来の差分画像化で生じる動きアーチファクトを解消し、画像差分を1ショットで直接計算可能にする。
• ToFセンサの計算能力を深度センシングを超えて、画像差分の直接アナログ計算に応用する。
• 時間的勾配、深度エッジ、直接光画像など、複数の画像モダリティを、1回のハードウェア再構成で実現する。
• ToFセンサのノイズのスケラム分布を活用し、マルチスペクトル照明下で1枚のスナップショットから複数の色チャンネルを抽出する。
• 従来は複数露光や複雑な復号処理を要する計算写真技術のためのハードウェアネイティブなソリューションを提供する。

提案手法

• 本手法は、標準的なToFカメラの光学路を再構成し、ピクセルレベルでの画像差分を直接測定可能にする。
• ToFセンサの位相シフトされたサブフレームを用いて、ハードウェアレベルの変調により、時間的・空間的勾配などの差分を計算する。
• 変調の極性を反転させるとともに、一方の光源を切断することで、深度エッジおよび直接光成分の直接検出を可能にする。
• ToFセンサの光子ノイズのスケラム分布を活用し、二波長照明下で1枚のスナップショットから2色チャンネル（例：赤と青）を抽出する。
• 追加の復号処理や後処理は不要で、すべての差分画像がセンサハードウェア内で直接生成される。
• 本手法は、二重光源制御用にカスタムリボンケーブルを改造したTI OPT8241-CDKセンサボードを用いて実証された。

実験結果

リサーチクエスチョン

• RQ1 ToFセンサを、複数露光を要せず、画像差分を直接測定可能なアナログ計算画像計測器として再利用可能か？
• RQ2 ToFセンサのハードウェア再構成により、画像差分の直接計算が可能な画像モダリティはどのようなものか？
• RQ3 ToFセンサの固有のノイズ統計を活用し、1枚のスナップショットから複数の色チャンネルを抽出する方法は何か？
• RQ4 本手法により、直接光のみの画像および深度エッジ画像を1枚の露光で捉えることは可能か？
• RQ5 本スナップショット差分画像化手法の実用的制限および性能上のトレードオフは何か？

主な発見

• 本システムは、復号処理を一切経ずに、1枚の露光で時間的勾配、深度エッジ、直接光のみの画像、空間的勾配を正常に捉えることに成功した。
• 光源の変調と位相シフトされたサブフレームを用いた差分計算により、深度エッジの直接撮影が可能になった。
• 赤と青の照明下で1枚のスナップショットから、スケラムノイズモデルを用いて2色チャンネルを抽出でき、マルチスペクトル画像化の可能性を示した。
• 連続撮影に起因する動きずれを排除することで、動的シーンにおいてもアーチファクトのない差分画像化を実現した。
• 4フェーズサブフレーム撮影のため、変更されたToFカメラシステムはフレームレートが低下したが、実用的応用においてもリアルタイム性能を維持した。
• ToFセンサが深度測定にとどまらず、差分ベースの操作に一般化された計算画像計測デバイスとして利用可能であることを示した。