[論文レビュー] Ray-transfer functions for camera simulation of 3D scenes with hidden lens design

Thomas Goossens, Zheng Lyu+4 more|arXiv (Cornell University)|Feb 17, 2022

Computer Graphics and Visualization Techniques参考文献 38被引用数 10

ひとこと要約

本稿では、Zemaxから得たブラックボックスレンズデータを用いて、レンズ設計者の知的財産を保護したまま、3次元シーンの物理的ベースのカメラシミュレーションを可能にする多項式レイントランスファーファンクション（RTF）モデルを提示する。この手法は、Zemaxが生成するレイントレースデータに非線形RTFをフィッティングすることで、相対照度およびエッジスプレッド関数の高精度なシミュレーションを実現し、PBRTに統合されてオープンソースツールを用いた再利用および検証が可能なエンドツーエンドのシミュレーションを可能にする。

ABSTRACT

Combining image sensor simulation tools (e.g., ISETCam) with physically based ray tracing (e.g., PBRT) offers possibilities for designing and evaluating novel imaging systems as well as for synthesizing physically accurate, labeled images for machine learning. One practical limitation has been simulating the optics precisely: Lens manufacturers generally prefer to keep lens design confidential. We present a pragmatic solution to this problem using a black box lens model in Zemax; such models provide necessary optical information while preserving the lens designer's intellectual property. First, we describe and provide software to construct a polynomial ray transfer function that characterizes how rays entering the lens at any position and angle subsequently exit the lens. We implement the ray-transfer calculation as a camera model in PBRT and confirm that the PBRT ray-transfer calculations match the Zemax lens calculations for edge spread functions and relative illumination.

研究の動機と目的

• レンズ設計が機密情報である場合に、カメラ光学のシミュレーションが困難であるという課題に対処すること。これにより、正確なソフトウェアプロトタイピングや機械学習のトレーニングが制限される。
• Zemaxのブラックボックス光学データのみを用いて、未知のレンズシステムを実用的かつプライバシー保護型にモデル化する手法を開発すること。
• 多項式RTFを物理的ベースのレイ tracer に埋め込むことで、奥行き、遮蔽、スペクトル効果を含む3次元シーンの高精細シミュレーションを可能にすること。
• 研究者が再現可能で検証可能かつ既存のシミュレーションパイプライン（PBRT や Zemax など）に統合可能なオープンソースツールを提供すること。

提案手法

• 著者らは、入射レイの位置と方向を出射レイの位置と方向へ写像する6次元非線形レイントランスファーファンクション（RTF）を導出する。このRTFは、Zemaxが生成するレイントレースデータの多項式近似に基づく。
• RTFは、センサープレーンからレンズを通り抜けるレイをサンプリングし、Zemaxでその出口位置と方向を計算した後、入力-出力のレイペアに対して多変数多項式をフィッティングすることで構築される。
• レイ通過関数が実装されており、入力レイがレンズを通るかどうかを判断し、RTFの有効ドメインを定義するとともに、ヴィgniット（露出低下）の影響を考慮する。
• RTFはJSONファイルにエンコードされ、PBRTにカスタムカメラモデルとして統合され、奥行き依存の光学効果を伴う3次元シーンのレンダリングが可能になる。
• 出力面が曲面である場合にも対応可能となるよう、レイの位置および方向のz成分を含めることで、広角および非平面光学系の正確なシミュレーションが可能になる。
• 本手法は、6種類の多様なレンズについて、PBRTのシミュレーション結果とZemaxの結果を相対照度およびエッジスプレッド関数の観点から照合することで検証された。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスZemaxデータのみが利用可能な状況で、多項式レイントランスファーファンクションが実際のレンズの光学的挙動を正確にモデル化できるか？
• RQ2 RTFは、相対照度やエッジスプレッド関数といった重要な光学指標を、異なるレンズタイプにわたりどれほど正確に再現できるか？
• RQ3 RTFモデルは、3次元シーンにおける奥行き依存効果（遮蔽、多重反射など）をどの程度正確に捉えることができるか？
• RQ4 RTFは、PBRTのような物理的ベースのレイ tracer に効果的に統合可能であり、正確なエンドツーエンドのカメラシミュレーションを可能にするか？
• RQ5 多項式次数や入射レイのサンプリング戦略の違いが、特に広角レンズや複雑なレンズにおいてRTFの性能にどのように影響を与えるか？

主な発見

• RTFモデルは、ダブルガウスや200°の広角レンズを含む6種類の多様なレンズについて、Zemaxで計算された相対照度プロファイルを高い精度で再現した。
• エッジスプレッド関数に関しては、入射レイの円の半径を0.8 mmに制限した場合、5次多項式のRTFがZemaxデータに良好にフィットし、必要な多項式の複雑さが低減された。
• RTFを3次元レイベクトルに拡張することで、ヴィgniットや非平面レイの伝搬（負のdz成分を持つレイを含む）といった複雑な光学効果を効果的にモデル化できた。
• PBRTでRTFを用いた実装は、エッジスプレッド関数および相対照度の両面でZemaxの結果と非常に近い結果を示し、近似の高精度さが検証された。
• Zemaxマクロ、MATLAB処理スクリプト、PBRT互換のRTF JSONインタフェースを含むオープンソースソフトウェアスタックにより、再現可能で拡張可能なシミュレーションワークフローが実現された。
• 本手法により、レンズ設計が不明な状況下でも、大規模で物理的に正確なピクセルラベル付きのトレーニングデータを機械学習用途で生成可能になった。