[논문 리뷰] Foveated Rendering: Motivation, Taxonomy, and Research Directions

Susmija Jabbireddy, Xuetong Sun외 2명|arXiv (Cornell University)|2022. 05. 09.

Image and Video Quality Assessment인용 수 14

한 줄 요약

이 논문은 VR/AR를 위한 후각 렌더링에 대한 종합적인 서베이를 제시하며, 인간 시각 시스템의 한계를 활용하여 후각 영역에서만 고해상도로 렌더링하여 계산 부하를 줄인다. 해상도 분포, 시선 의존성, 후각 공간, 안티앨리어징 기반의 분류 체계를 도입하고, 광범위한 시야각 디스플레이에서 인지적으로 정확하고 효율적인 실시간 렌더링을 위한 핵심 과제와 향후 연구 방향을 규명한다.

ABSTRACT

With the recent interest in virtual reality and augmented reality, there is a newfound demand for displays that can provide high resolution with a wide field of view (FOV). However, such displays incur significantly higher costs for rendering the larger number of pixels. This poses the challenge of rendering realistic real-time images that have a wide FOV and high resolution using limited computing resources. The human visual system does not need every pixel to be rendered at a uniformly high quality. Foveated rendering methods provide perceptually high-quality images while reducing computational workload and are becoming a crucial component for large-scale rendering. In this paper, we present key motivations, research directions, and challenges for leveraging the limitations of the human visual system as they relate to foveated rendering. We provide a taxonomy to compare and contrast various foveated techniques based on key factors. We also review aliasing artifacts arising due to foveation methods and discuss several approaches that attempt to mitigate such effects. Finally, we present several open problems and possible future research directions that can further reduce computational costs while generating perceptually high-quality renderings.

연구 동기 및 목표

• 제한된 하드웨어 자원으로 인해 넓은 시야각, 고해상도 VR/AR 환경을 렌더링하는 데 발생하는 계산적 과제를 해결한다.
• 주변 시야에서 시각 정밀도가 낮아지는 인간 시각 시스템의 특성을 활용하여, 인지적으로 감지되지 않는 품질 손실 없이 렌더링 작업량을 최소화한다.
• 핵심 설계 요소를 기반으로 후각 렌더링 기법을 비교·대조할 수 있는 통합된 분류 체계를 제공한다.
• 후각 렌더링으로 인해 발생하는 앨리어징 아티팩트를 분석하고, 이를 완화하는 전략을 검토한다.
• 차세대 AR/VR 시스템에서 인지적으로 높은 품질을 유지하면서도 저비용으로 실시간 렌더링을 달성하기 위한 열린 문제와 향후 연구 방향을 제시한다.

제안 방법

• 해당 시스템이 인간의 시각 정밀도를 얼마나 정확히 반영하는지에 따라 해상도 분포 함수 기반으로 후각 렌더링 방법을 분류하고, 시선에 따라 동적으로 적응하는지 여부에 따라 시선 의존성도 고려한다.
• 후각 공간 기반으로 기법을 분류한다: 이미지 공간(소프트웨어 기반의 렌더링 조정)과 광학 공간(하드웨어 기반의 렌즈 조절)으로 나눈다.
• 시선 추적기에서 수집한 시선 정보를 통합하여 실시간으로 사용자 시선에 따라 적응하는 동적 렌더링을 가능하게 하여 효율성과 인지적 품질을 향상시킨다.
• 안티앨리어징 기법을 검토하며, 희소한 후각 입력에서 고품질의 안티앨리어징 출력을 생성하는 딥러닝 기반 방법도 포함한다.
• 광수용 세포 밀도, 색상 구분 능력, 굴절 이상, 연령 관련 변화와 같은 인지적 요소를 고려하여 후각 설계에 기여한다.
• 향후 연구 방향으로 다중 사용자 후각 디스플레이, 장기 기억을 통합한 주목도 모델링, 지연 시간을 줄이기 위한 개선된 시선 예측 기술을 제안한다.

실험 결과

연구 질문

• RQ1 넓은 시야각, 고해상도 VR/AR 디스플레이에서 후각 렌더링이 계산 비용을 효과적으로 줄일 수 있는 방법은 무엇인가, 동시에 인지적 품질은 유지할 수 있는가?
• RQ2 후각 렌더링 기법을 구분하는 데 핵심이 되는 설계 차원은 무엇이며, 이를 체계적으로 분류할 수 있는 방법은 무엇인가?
• RQ3 후각 렌더링에서 앨리어징 아티팩트가 어떻게 발생하는가, 그리고 이를 효과적으로 완화할 수 있는 기법은 무엇인가?
• RQ4 시선 추적 및 시선 예측은 후각 렌더링 시스템의 성능과 현실감을 어느 정도 향상시킬 수 있는가?
• RQ5 눈 우세도와 연령에 따른 시력 저하와 같은 개인의 시각 인지 차이가 효과적인 후각 렌더링 시스템 설계에 어떤 역할을 하는가?

주요 결과

• 100°의 시야각을 가진 헤드셋에서 후각 영역(2.5°) 내에 포함된 픽셀은 전체의 4%에 불과하여, 후각 렌더링이 계산 절감에 매우 효과적임을 보여준다.
• 후각 영역에서만 고해상도 렌더링을 할당함으로써 후각 렌더링이 렌더링 작업량을 크게 줄일 수 있다.
• 실시간 시선 추적을 활용한 시선 의존적 후각 렌더링은 사용자 시선에 따라 동적으로 적응하여 효율성과 인지적 품질을 향상시킨다.
• 딥러닝 기반 안티앨리어징 방법은 희소한 후각 입력에서도 현실적이며 고품질의 이미지를 생성하여 눈에 띄는 아티팩트를 줄일 수 있다.
• 눈 우세도와 양안 간 주변 시야의 차이를 고려할 때, 비우세 눈은 더 높은 수준의 후각 처리를 견뎌내도 인지적 품질 저하가 발생하지 않을 수 있다.
• 다양한 시스템과 애플리케이션 간에 후각 렌더링 기법을 공정하게 비교하기 위해 표준화되고 인지 기반의 평가 지표가 절실하게 필요하다.