[論文レビュー] NaRPA: Navigation and Rendering Pipeline for Astronautics

Roshan T. Eapen, Ramchander Rao Bhaskara+1 more|arXiv (Cornell University)|Nov 3, 2022

Satellite Image Processing and Photogrammetry被引用数 4

ひとこと要約

NaRPA は、宇宙飛行機のシミュレーションを目的としたレイトレーシングベースの物理エンジンであり、グローバルイルミネーション、大気効果、画像、深度マップ、点群などのセンサー出力をモデル化する。視覚ベースのナビゲーションのための正確で微分可能なレンダリングを可能にし、国際宇宙ステーションのドッキングシミュレーションにおいてステレオトリアングレーションと勾配ベース最適化による高精度な3次元ポーズ推定を実証する。

ABSTRACT

This paper presents Navigation and Rendering Pipeline for Astronautics (NaRPA) - a novel ray-tracing-based computer graphics engine to model and simulate light transport for space-borne imaging. NaRPA incorporates lighting models with attention to atmospheric and shading effects for the synthesis of space-to-space and ground-to-space virtual observations. In addition to image rendering, the engine also possesses point cloud, depth, and contour map generation capabilities to simulate passive and active vision-based sensors and to facilitate the designing, testing, or verification of visual navigation algorithms. Physically based rendering capabilities of NaRPA and the efficacy of the proposed rendering algorithm are demonstrated using applications in representative space-based environments. A key demonstration includes NaRPA as a tool for generating stereo imagery and application in 3D coordinate estimation using triangulation. Another prominent application of NaRPA includes a novel differentiable rendering approach for image-based attitude estimation is proposed to highlight the efficacy of the NaRPA engine for simulating vision-based navigation and guidance operations.

研究の動機と目的

• 宇宙ベースの画像撮影およびナビゲーションのための物理的に正確なレイトレーシングシミュレーションプラットフォームの開発を目的とする。
• 不正確な照明モデルが原因で生じるオプティカルフローおよび視覚ベースナビゲーションの限界を是正することを目的とする。
• 大気およびシェーディング効果を含む、宇宙間および地上から宇宙への観測を高精度にシミュレートすることを目的とする。
• 合成センサー出力データを用いて、視覚ナビゲーションアルゴリズムの設計、テスト、検証を支援することを目的とする。
• 2次元画像からの3次元ポーズ推定のエンドツーエンド最適化を可能にする微分可能なレンダリングを実現することを目的とする。

提案手法

• NaRPA は、レンダリング方程式に基づくレイトレーシングパイプラインを採用し、宇宙環境におけるグローバルイルミネーションおよび光の伝搬をシミュレートする。
• レイリー散乱およびミー散乱を含む大気散乱モデルを統合し、光の伝搬に時間帯およびごみの度合いの影響を再現する。
• 複数モodalなセンサー出力を生成する：3次元シーンの幾何学的形状から得られる写真的リアリズムの画像、深度マップ、輪郭マップ、点群。
• 微分可能なレンダリングモジュールは、レンダリングパイプラインを通過する勾配を伝搬させ、2次元画像観測からのポーズパラメータの最適化を可能にする。
• ポーズ推定は、合成画像と観測画像の残差をもとに、レーベンバーグ・マルコルティット法を用いた非線形最適化により実行される。
• 画像形成モデルと3次元ポーズパラメータを結ぶ勾配ベースのヤコビアン計算を、チェーンルールに基づいて実施し、勾配に基づく最適化によるポーズの精密化を実現する。

実験結果

リサーチクエスチョン

• RQ1 レイトレーシングレンダリングエンジンは、現実的な大気およびシェーディング効果を伴い、宇宙ベースの観測を正確にシミュレートできるか？
• RQ2 NaRPA は、トリアングレーションを用いた3次元座標推定に適した合成ステレオ画像をどれほど正確に生成できるか？
• RQ3 NaRPA における微分可能なレンダリングは、2次元画像投影からの正確な3次元ポーズ推定をどの程度可能にするか？
• RQ4 NaRPA は、自律宇宙船ミッションにおける視覚ベースナビゲーションアルゴリズムのテストに、真値シミュレーション環境として機能できるか？
• RQ5 物理的ベースの照明および大気モデリングの導入は、オプティカルフローおよびポーズ推定アルゴリズムのロバストネスをどの程度向上させるか？

主な発見

• NaRPA は、時間帯およびごみ度合いの変動を含む正確な大気散乱を再現した写真的リアリズムの画像を生成し、宇宙ミッションシミュレーションにおけるリアリズムを向上させた。
• NaRPA のステレオ画像生成機能により、トリアングレーションを用いた正確な3次元座標推定が可能となり、点群データが検証のための真値として機能した。
• 微分可能なレンダリングモジュールは、国際宇宙ステーションのドッキングマニューバーのシミュレーションにおいて、コスト関数が反復回数とともに減少する傾向を示し、収束を達成した。
• 合成画像からの推定ポーズは、シミュレーションシーケンスの5フレームにわたる画像比較により視覚的にも妥当性が確認された。
• 本フレームワークは、レンダリングパイプラインを通じた勾配ベース最適化により、2次元画像観測から3次元ポーズを推定する可能性を実証した。
• NaRPA のマルチセンサー出力機能により、深度および輪郭データに依存する視覚ナビゲーションアルゴリズムの包括的テストが可能となった。