[論文レビュー] The Differentiable Lens: Compound Lens Search over Glass Surfaces and Materials for Object Detection

Geoffroi Côté, Fahim Mannan+3 more|arXiv (Cornell University)|Dec 8, 2022

Industrial Vision Systems and Defect Detection被引用数 6

ひとこと要約

本稿では、定量化された連続的ガラス変数を導入することで、ガラス素材を含む複合レンズ設計のエンドツーエンド最適化を可能にする微分可能球面レンズシミュレーションモデルを提案する。画像品質が低下しても、自動車用途においては、2素子または3素子の簡素化されたレンズですら、レンズ幾何学的形状、素材、および下流のニューラルネットワークを同時に最適化することで、優れた物体検出性能を達成する。製造可能制約のもとで最適化されている。

ABSTRACT

Most camera lens systems are designed in isolation, separately from downstream computer vision methods. Recently, joint optimization approaches that design lenses alongside other components of the image acquisition and processing pipeline -- notably, downstream neural networks -- have achieved improved imaging quality or better performance on vision tasks. However, these existing methods optimize only a subset of lens parameters and cannot optimize glass materials given their categorical nature. In this work, we develop a differentiable spherical lens simulation model that accurately captures geometrical aberrations. We propose an optimization strategy to address the challenges of lens design -- notorious for non-convex loss function landscapes and many manufacturing constraints -- that are exacerbated in joint optimization tasks. Specifically, we introduce quantized continuous glass variables to facilitate the optimization and selection of glass materials in an end-to-end design context, and couple this with carefully designed constraints to support manufacturability. In automotive object detection, we report improved detection performance over existing designs even when simplifying designs to two- or three-element lenses, despite significantly degrading the image quality.

研究の動機と目的

• 従来のレンズ設計手法では、カテゴリカルな性質を持つガラス素材選択を無視するため、幾何パラメータのみ最適化されるという制限を解決すること。
• 定量化された連続的変数を用いてガラス素材選択を微分可能にすることで、レンズ設計と下流のビジョンネットワークの共同最適化を可能にすること。
• 非凸な損失関数の形状や製造制約といった課題を、微分可能シミュレーションフレームワークにより克服すること。
• 簡素化されたレンズ構成ですら、レンズとニューラルネットワークの共同設計により、実世界の自動車走行環境で物体検出性能を向上させること。
• 実世界への実装可能性を確保するため、実用的制約を最適化パイプラインに統合して製造可能性を保証すること。

提案手法

• レイトレーシングの原則を用いて幾何的収差を正確に捉える微分可能球面レンズシミュレーションモデルを開発する。
• 離散的なガラス素材を微分可能に表現するための定量化された連続的ガラス変数を導入し、素材選択における勾配ベース最適化を可能にする。
• 表面の曲率、厚さ、素材選択に関する制約を設定することで、製造可能性を確保するレンズ設計最適化問題を定式化する。
• 微分可能レンズモデルをエンドツーエンド学習パイプラインに統合し、レンズパラメータと下流の物体検出ネットワークを同時に最適化する。
• 物理的および製造制約を尊重しながら、非凸な損失関数の形状を勾配ベース最適化手法で効果的に探索する。
• 画像品質の微分可能指標を用いてレンズ最適化をガイドし、画像忠実度と下流の検出性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 微分可能レンズシミュレーションは、レンズ幾何学的形状とガラス素材選択の両方をエンドツーエンド最適化可能か？
• RQ2 レンズ設計とディープラーニングベースの物体検出を共同最適化することで、独立したレンズ設計に比べて性能がどのように向上するか？
• RQ3 2素子または3素子の簡素化されたレンズ構成は、ビジョンパイプラインと共同最適化された場合、どの程度優れた検出性能を達成できるか？
• RQ4 定量化された連続的ガラス変数は、離散的ガラス素材に対する勾配ベース最適化を効果的に可能にするか？
• RQ5 製造可能性制約は最適化プロセスおよび最終的なレンズ設計品質にどのように影響を与えるか？

主な発見

• 提案手法は、2素子または3素子の簡素化されたレンズ構成を用いても、自動車走行環境において優れた物体検出性能を達成する。
• 画像品質が著しく低下しても、レンズとネットワークの共同最適化により、従来のレンズ設計よりも高い検出精度を達成する。
• 定量化された連続的ガラス変数の使用により、離散的ガラス素材に対する効果的な微分可能最適化が可能となり、先行研究の主要な制限を克服する。
• 微分可能レンズシミュレーションは幾何的収差を正確にモデル化でき、複雑なレンズ系の信頼性ある最適化を可能にする。
• 製造可能性制約が最適化プロセスにうまく統合され、実世界での製造が可能な設計が得られた。
• エンドツーエンド最適化フレームワークにより、レンズ設計とビジョンネットワークのトレーニングを共同最適化することで、システム全体の性能が向上することが示された。