[논문 리뷰] Ray-transfer functions for camera simulation of 3D scenes with hidden lens design

Thomas Goossens, Zheng Lyu외 4명|arXiv (Cornell University)|2022. 02. 17.

Computer Graphics and Visualization Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 Zemax에서 제공하는 블랙박스 렌즈 데이터를 사용하여 3D 시뮬레이션을 정확하고 물리적으로 기반한 카메라 시뮬레이션을 가능하게 하는 다항식 레이 전이 함수(RTF) 모델을 제안한다. 이 방법은 렌즈 설계자의 지적 재산권을 유지하면서도 비선형 RTF를 Zemax에서 생성한 레이 데이터에 피팅하여 상대 밝기 및 에지 스프레드 함수의 고해상도 시뮬레이션을 달성하며, PBRT에 통합되어 오픈소스 도구를 활용한 재사용 및 검증이 가능한 종단 간 시뮬레이션을 지원한다.

ABSTRACT

Combining image sensor simulation tools (e.g., ISETCam) with physically based ray tracing (e.g., PBRT) offers possibilities for designing and evaluating novel imaging systems as well as for synthesizing physically accurate, labeled images for machine learning. One practical limitation has been simulating the optics precisely: Lens manufacturers generally prefer to keep lens design confidential. We present a pragmatic solution to this problem using a black box lens model in Zemax; such models provide necessary optical information while preserving the lens designer's intellectual property. First, we describe and provide software to construct a polynomial ray transfer function that characterizes how rays entering the lens at any position and angle subsequently exit the lens. We implement the ray-transfer calculation as a camera model in PBRT and confirm that the PBRT ray-transfer calculations match the Zemax lens calculations for edge spread functions and relative illumination.

연구 동기 및 목표

• 렌즈 설계 정보가 기밀인 경우 정확한 소프트 프로토타이핑 및 머신러닝 훈련을 위한 카메라 옵티컬 시뮬레이션의 과제를 해결하기 위해.
• Zemax에서 제공하는 블랙박스 광학 데이터만을 사용하여 기밀이 아닌 렌즈 시스템을 모델링할 수 있는 실용적이고 개인정보 보호 기능을 갖춘 방법을 개발하기 위해.
• 다양한 깊이, 음영, 스펙트럼 효과를 고려한 3D 시나리오의 고해상도 시뮬레이션을 위해 다항식 RTF를 물리 기반 레이 트레이서에 통합하기 위해.
• 연구자들이 기존 시뮬레이션 파이프라인(예: PBRT, Zemax)에 쉽게 통합하고 재현 및 검증이 가능한 오픈소스 도구를 제공하기 위해.

제안 방법

• 저자들은 Zemax에서 생성한 레이 데이터의 다항식 근사치를 사용하여, 입사 레이의 위치와 방향을 출력 레이의 위치와 방향으로 매핑하는 6차원 비선형 레이 전이 함수(RTF)를 유도한다.
• RTF는 센서 평면을 통해 렌즈를 통과하는 레이를 샘플링하고, Zemax에서 그들의 출구 위치와 방향을 계산한 후, 입력-출력 레이 쌍에 다변수 다항식을 피팅하여 구성된다.
• 레이 통과 함수를 구현하여 주어진 입력 레이가 렌즈를 통과할 수 있는지 판단함으로써 RTF의 유효 도메인을 정의하고, 비그네팅을 고려한다.
• RTF는 JSON 파일에 인코딩되어 PBRT에 커스텀 카메라 모델로 통합되어 깊이에 따라 변하는 광학 효과를 포함한 3D 시나리오 렌더링을 가능하게 한다.
• 출력 표면이 곡면인 경우를 지원하기 위해 레이 위치 및 방향의 z성분을 포함함으로써 광범위한 각도와 비평면 광학 시스템의 정확한 시뮬레이션을 가능하게 한다.
• 이 방법은 6종의 다양한 렌즈에 대해 상대 밝기 및 에지 스프레드 함수의 Zemax 결과와의 비교를 통해 검증되었으며, 시뮬레이션의 정확도를 입증한다.

실험 결과

연구 질문

• RQ1 블랙박스 Zemax 데이터만을 사용할 때 다항식 레이 전이 함수(RTF)가 실제 렌즈의 광학적 거동을 정확하게 모델링할 수 있는가?
• RQ2 RTF는 다양한 렌즈 유형에 걸쳐 상대 밝기 및 에지 스프레드 함수와 같은 핵심 광학 지표를 얼마나 잘 재현할 수 있는가?
• RQ3 RTF 모델은 3D 시나리오에서 음영 및 다중 반사와 같은 깊이에 따라 변하는 효과를 어느 정도 정확하게 포괄할 수 있는가?
• RQ4 RTF는 PBRT와 같은 물리 기반 레이 트레이서에 효과적으로 통합되어 정확한 종단 간 카메라 시뮬레이션을 가능하게 할 수 있는가?
• RQ5 특히 광각 및 복잡한 렌즈에 대해 다항식 차수와 입력 레이 샘플링 전략의 변화에 따라 RTF 성능은 어떻게 변하는가?

주요 결과

• RTF 모델은 이중 가우스 및 200° 광각 렌즈를 포함한 6종의 다양한 렌즈에서 Zemax가 계산한 상대 밝기 프로파일을 높은 정확도로 재현하였다.
• 에지 스프레드 함수의 경우, 입력 레이 원의 반지름을 0.8 mm 이내로 제한한 5차 다항식 RTF가 Zemax 데이터에 잘 맞추어져 다항식 복잡도를 감소시켰다.
• RTF를 3차원 레이 벡터로 확장함으로써 비그네팅 및 비평면 레이 전파(음수 dz 성분을 포함한 레이 포함)와 같은 복잡한 광학 효과를 성공적으로 모델링하였다.
• RTF를 사용한 PBRT 구현은 상대 밝기 및 에지 스프레드 함수 모두에서 Zemax 결과와 밀도 있게 일치하여 근사의 정밀도를 검증하였다.
• Zemax 매크로, MATLAB 처리 스크립트, PBRT 호환 RTF JSON 인터페이스를 포함한 오픈소스 소프트웨어 스택은 재현 가능하고 확장 가능한 시뮬레이션 워크플로우를 가능하게 하였다.
• 이 방법은 렌즈 설계 정보가 알려지지 않은 경우에도 대규모로 물리적으로 정확한 픽셀 레이블이 부여된 훈련 데이터를 생성하는 머신러닝 응용에 기여할 수 있다.