[論文レビュー] Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization

Miika Aittala, Prafull Sharma+5 more|arXiv (Cornell University)|Dec 5, 2019

Advanced Optical Sensing Technologies被引用数 15

ひとこと要約

この論文は、キャリブレーションなしの可視シーンにおける間接照明から隠れたシーン動画を回復するための新規手法を提案する。深層行列因子分解を用い、隠れた動画と光輸送行列の両方を、一回の最適化で訓練されるランダムに初期化された畳み込みニューラルネットワーク（CNN）の出力としてパrameter化することで、事前学習を必要とせず意味のある分解を実現。これにより、遮蔽物の背後にある動きを高精度の知覚的再現性で明らかにする「計算的ミラー」が可能になる。

ABSTRACT

We recover a video of the motion taking place in a hidden scene by observing changes in indirect illumination in a nearby uncalibrated visible region. We solve this problem by factoring the observed video into a matrix product between the unknown hidden scene video and an unknown light transport matrix. This task is extremely ill-posed, as any non-negative factorization will satisfy the data. Inspired by recent work on the Deep Image Prior, we parameterize the factor matrices using randomly initialized convolutional neural networks trained in a one-off manner, and show that this results in decompositions that reflect the true motion in the hidden scene.

研究の動機と目的

• 可視の複雑な環境における間接照明を観測することで、被動的かつキャリブレーションなしの非視線画像を実現すること。
• 隠れたシーン動画と光輸送行列の両方が未知であるため、不適切に定式化された逆光輸送問題を解くこと。
• 高価な事前キャリブレーションを回避するため、深層ニューラルネットワークのインダクティブバイアスを活用する手法を開発すること。
• 深層画像事前知識が物理的逆問題におけるブラインド行列因子分解を効果的に正則化できることを示すこと。

提案手法

• 観測された動画を未知の隠れたシーン動画と未知の光輸送行列に因子分解する形で、逆光輸送問題を定式化する。
• 両方の因子行列をランダムに初期化された畳み込みニューラルネットワーク（CNN）でパrameter化し、画像に類似した構造を暗黙的に強制する。
• 観測動画と二つの因子行列の積との再構成誤差を最小化するように、CNNを一回の勾配降下法で訓練する。
• スキップ接続とバッチ正則化を用いて訓練を安定化させ、因子行列内の空間的整合性を促進する。
• 中間特徴マップに強制的な空間的変動を導入し、対称性を破り、収束を加速する。
• 事前学習やラベル付きデータを一切使用しない。アーキテクチャとランダム初期化のみがインダクティブバイアスを提供する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、物理的逆問題におけるブラインド行列因子分解の有効なインダクティブ事前知識として機能できるか？
• RQ2 事前キャリブレーションやシーン幾何学的知識なしに、間接照明から意味のある隠れたシーン動画を回復できるか？
• RQ3 実世界のキャリブレーションなしの環境において、深層画像事前知識は、隠れたシーンコンテンツと光輸送行列をどれほど効果的に分離できるか？
• RQ4 回転、反転、非線形歪みなどのグローバルなあいまいさが、再構成品質にどの程度影響を及えるか？
• RQ5 再トレーニングなしに、多様なシーンの複雑さと動きのパターンに一般化できるか？

主な発見

• 本手法は、事前キャリブレーションや学習データが一切ない状況下でも、隠れたシーンにおける知覚的に理解可能な動きを効果的に回復できた。
• ディスクの運動や手を振る実験などの制御されたシーケンスでは、回復された隠れた動画の内容が明確に認識可能であった。
• 改変されたブラインドデコンボリューションベースラインと比較して、本手法ははるかに一貫性があり、解釈可能な再構成を達成した。
• 本手法はライブアクションシーンにも一般化可能であり、プロジェクターや能動的照明が存在しない状況下でも、大規模な四肢や物体の動きを解明できた。
• 実験的な非線形性に対しても結果が頑健であり、測定された輸送行列から生成された半シンセティックデータでも、性能がほぼ同一であった。
• 回転、反転、非線形歪みなどのグローバルなあいまいさは残っているが、コアとなる動きの内容は保持されており、知覚的に正確であった。