[論文レビュー] Foveated Rendering: Motivation, Taxonomy, and Research Directions

Susmija Jabbireddy, Xuetong Sun+2 more|arXiv (Cornell University)|May 9, 2022

Image and Video Quality Assessment被引用数 14

ひとこと要約

本論文は、VR/ARにおけるフォビエーテッドレンダリングの包括的サーベイを提示しており、人間の視覚系の限界を活用して、視覚の中心領域でのみ高解像度でレンダリングすることで、計算負荷を低減する。解像度分布、注視依存性、フォビエーション空間、アーリアス除去の観点から分類を提示し、広視野角ディスプレイにおける知覚的に正確で効率的なリアルタイムレンダリングのための主な課題と今後の研究方向性を特定している。

ABSTRACT

With the recent interest in virtual reality and augmented reality, there is a newfound demand for displays that can provide high resolution with a wide field of view (FOV). However, such displays incur significantly higher costs for rendering the larger number of pixels. This poses the challenge of rendering realistic real-time images that have a wide FOV and high resolution using limited computing resources. The human visual system does not need every pixel to be rendered at a uniformly high quality. Foveated rendering methods provide perceptually high-quality images while reducing computational workload and are becoming a crucial component for large-scale rendering. In this paper, we present key motivations, research directions, and challenges for leveraging the limitations of the human visual system as they relate to foveated rendering. We provide a taxonomy to compare and contrast various foveated techniques based on key factors. We also review aliasing artifacts arising due to foveation methods and discuss several approaches that attempt to mitigate such effects. Finally, we present several open problems and possible future research directions that can further reduce computational costs while generating perceptually high-quality renderings.

研究の動機と目的

• 限られたハードウェアリソースのもとで、高解像度かつ広視野角のVR/ARシーンをレンダリングする計算上の課題に対処すること。
• 周辺視野における人間の視覚系の解像度低下を活用して、知覚的な品質損ないなしにレンダリング負荷を最小限に抑えること。
• 主な設計要因に基づいてフォビエーテッドレンダリング技術を比較・対比できる統一された分類法を提供すること。
• フォビエーションによって生じるアーリアスアーティファクトを特定・分析し、その緩和戦略をレビューすること。
• 次世代AR/VRシステムにおける知覚的に高品質で低コストなリアルタイムレンダリングを実現するための未解決問題と今後の研究方向性を提示すること。

提案手法

• 解像度分布関数（システムが人間の視覚解像度をどれほど正確に再現するか）と注視依存性（注視方向に応じた動的適応）に基づいて、フォビエーテッドレンダリング手法を分類する。
• フォビエーション空間に基づいて技術を分類：画像空間（ソフトウェアベースのレンダリング調整）と光学空間（ハードウェアベースのレンズ調製）。
• アイトラッカーからの注視情報を取り込み、動的かつ注視依存型レンダリングを実現することで、効率性と知覚的品質を向上させる。
• アーリアス除去技術をレビューし、スパarsely foveated入力から高品質でアーリアスのない出力を生成する深層学習ベースの手法を含む。
• 光受容体密度、色覚の分解能、屈折異常、加齢に伴う変化といった知覚的要因を検討し、フォビエーション設計に反映する。
• 今後の研究方向性として、マルチユーザー向けフォビエーテッドディスプレイ、長期記憶を組み込んだサリエンシーモデリング、遅延を低減するための改善された注視予測を提案する。

実験結果

リサーチクエスチョン

• RQ1 広視野角・高解像度のVR/ARディスプレイにおいて、フォビエーテッドレンダリングはどのように計算コストを効果的に低減しつつ知覚的品質を維持できるか？
• RQ2 フォビエーテッドレンダリング技術を区別するための主要な設計次元は何か？ そして、それらを体系的に分類するにはどうすればよいか？
• RQ3 フォビエーテッドレンダリングでアーリアスアーティファクトがどのように生じるのか？ また、それらを効果的に緩和する技術は何か？
• RQ4 アイトラッキングと注視予測は、フォビエーテッドレンダリングシステムのパフォーマンスと現実性をどの程度向上させられるか？
• RQ5 視覚認識における個人差（例：優位眼、加齢に伴う解像度低下）は、効果的なフォビエーテッドレンダリングシステム設計にどのような役割を果たすか？

主な発見

• 100°の視野角を持つHMDでは、視覚の中心領域（2.5°）に含まれるピクセルは全体の4%にとどまることから、フォビエーテッドレンダリングは計算負荷低減に極めて有効である。
• 視覚解像度が最も高い視覚中心領域にのみ高解像度レンダリングを割り当てることで、フォビエーテッドレンダリングはレンダリング負荷を顕著に低減できる。
• リアルタイムのアイトラッキングを活用した注視依存型フォビエーテッドレンダリングにより、ユーザーの注視方向に応じた動的適応が可能となり、効率性と知覚的品質が向上する。
• 深層学習ベースのアーリアス除去手法は、スパarsely foveated入力からも現実的で高品質な画像を生成でき、目立つアーティファクトを低減する。
• 優位眼とは異なる視野の周辺視野の違いから、非優位眼はより高いフォビエーションに耐えられ、知覚的な劣化が生じにくいことが示唆される。
• フォビエーテッドレンダリング手法をシステムやアプリケーションの間で公平に比較できる、標準化された知覚的根拠に基づく評価指標の開発が急務である。