[논문 리뷰] The Differentiable Lens: Compound Lens Search over Glass Surfaces and Materials for Object Detection

Geoffroi Côté, Fahim Mannan외 3명|arXiv (Cornell University)|2022. 12. 08.

Industrial Vision Systems and Defect Detection인용 수 6

한 줄 요약

이 논문은 이산적인 유리 재료를 표현하기 위해 이산 연속 유리 변수를 도입함으로써, 복합 렌즈 설계(유리 재료 포함)의 엔드 투 엔드 최적화를 가능하게 하는 미분 가능한 구면 렌즈 시뮬레이션 모델을 제안한다. 제작 가능한 제약 조건 하에서 렌즈 기하학, 재료, 그리고 후행 신경망을 함께 최적화함으로써, 이미지 품질이 저하되더라도 자동차 응용 분야에서 개선된 객체 검출 성능을 달성할 수 있으며, 이는 두 개 또는 세 개 요소로 단순화된 렌즈 구성을 사용할 경우에도 성립한다.

ABSTRACT

Most camera lens systems are designed in isolation, separately from downstream computer vision methods. Recently, joint optimization approaches that design lenses alongside other components of the image acquisition and processing pipeline -- notably, downstream neural networks -- have achieved improved imaging quality or better performance on vision tasks. However, these existing methods optimize only a subset of lens parameters and cannot optimize glass materials given their categorical nature. In this work, we develop a differentiable spherical lens simulation model that accurately captures geometrical aberrations. We propose an optimization strategy to address the challenges of lens design -- notorious for non-convex loss function landscapes and many manufacturing constraints -- that are exacerbated in joint optimization tasks. Specifically, we introduce quantized continuous glass variables to facilitate the optimization and selection of glass materials in an end-to-end design context, and couple this with carefully designed constraints to support manufacturability. In automotive object detection, we report improved detection performance over existing designs even when simplifying designs to two- or three-element lenses, despite significantly degrading the image quality.

연구 동기 및 목표

• 기하학적 매개변수만 최적화하는 기존 렌즈 설계 방법의 한계를 해결하기 위해, 카디널 성격을 지닌 재료 선택을 무시하는 문제를 해결한다.
• 이산적인 유리 재료 선택을 이산 연속 변수를 통해 미분 가능하게 만들어, 렌즈 설계와 후행 시각 네트워크의 공동 최적화를 가능하게 한다.
• 비볼록 손실 곡면과 제조 제약 조건과 같은 렌즈 최적화 과제를, 미분 가능한 시뮬레이션 프레임워크를 통해 극복한다.
• 단순화된 렌즈 구성(예: 두 개 또는 세 개 요소 렌즈)을 사용하더라도, 렌즈와 신경망을 공동 설계함으로써 실제 자동차 환경에서의 객체 검출 성능을 향상시킨다.
• 실제 제작 가능성을 확보하기 위해 실용적 제약 조건을 최적화 파이프라인에 통합한다.

제안 방법

• 레이트레이싱 원리를 활용하여 기하학적 색수차를 정확히 모델링하는 미분 가능한 구면 렌즈 시뮬레이션 모델을 개발한다.
• 이산적인 유리 재료를 미분 가능한 방식으로 표현하기 위해 이산 연속 유리 변수를 도입한다. 이는 재료 선택에 대한 기울기 기반 최적화를 가능하게 한다.
• 표면 곡률, 두께, 재료 선택에 대한 제약 조건을 설정하여 제조 가능성을 확보하는 렌즈 설계 최적화 문제를 수립한다.
• 미분 가능한 렌즈 모델을 엔드 투 엔드 학습 파이프라인에 통합하여, 렌즈 매개변수와 후행 객체 검출 네트워크를 함께 최적화한다.
• 물리적 및 제조 제약 조건을 고려하면서도, 비볼록 손실 곡면을 탐색할 수 있도록 기울기 기반 최적화 기법을 적용한다.
• 이미지 품질을 측정하는 미분 가능한 지표를 사용하여, 이미지 정확도와 후행 검출 성능 사이의 균형을 잡는다.

실험 결과

연구 질문

• RQ1 미분 가능한 렌즈 시뮬레이션은 렌즈 기하학과 유리 재료 선택의 엔드 투 엔드 최적화를 가능하게 하는가?
• RQ2 딥 러닝 기반 객체 검출과의 공동 최적화는 별도의 렌즈 설계에 비해 성능을 얼마나 향상시키는가?
• RQ3 공동 최적화된 뷰 파이프라인과 함께 사용할 경우, 단순화된 렌즈 구성(예: 두 개 또는 세 개 요소 렌즈)이 얼마나 높은 검출 성능을 달성할 수 있는가?
• RQ4 이산적인 유리 재료에 대한 기울기 기반 최적화를 효과적으로 가능하게 하는가?
• RQ5 제조 가능성을 고려한 제약 조건이 최적화 과정과 최종 렌즈 설계 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 단순화된 두 개 또는 세 개 요소 렌즈 설계를 사용하더라도 자동차 환경에서 개선된 객체 검출 성능을 달성한다.
• 이미지 품질이 크게 떨어지더라도, 렌즈와 네트워크의 공동 최적화는 기존 렌즈 설계보다 더 높은 검출 정확도를 제공한다.
• 이산 연속 유리 변수의 사용은 이산적인 유리 재료에 대한 효과적인 미분 가능한 최적화를 가능하게 하여, 이전 연구에서의 주요 한계를 극복한다.
• 미분 가능한 렌즈 시뮬레이션은 기하학적 색수차를 정확히 모델링하여, 복잡한 렌즈 시스템의 신뢰성 있는 최적화를 가능하게 한다.
• 제조 가능성을 확보하기 위해 제약 조건이 최적화 과정에 성공적으로 통합되어 실제 제작이 가능한 설계가 도출된다.
• 엔드 투 엔드 최적화 프레임워크는 렌즈 설계와 시각 네트워크 학습을 공동 최적화함으로써 시스템 수준의 성능 향상을 이끌어낸다.