[논문 리뷰] Perception, Attention, and Resources: A Decision-Theoretic Approach to Graphics Rendering

Eric Horvitz, Jed Lengyel|arXiv (Cornell University)|2013. 02. 06.

Visual perception and processing mechanisms참고 문헌 29인용 수 48

한 줄 요약

이 논문은 시각적 비용과 시선 집중을 모델링하여 계산 자원 할당을 최적화하는 의사결정 이론적 프레임워크를 제안한다. 시선 분포와 시각 민감도를 기반으로 시cene 구성 요소의 기대 시각적 열화 정도를 추정함으로써, 시각적 열화가 가장 심각한 곳에 렌더링 품질을 동적으로 우선순위를 부여함으로써, 눈에 띄는 품질 손실을 최소화하면서도 렌더링 부하를 크게 줄인다.

ABSTRACT

We describe work to control graphics rendering under limited computational resources by taking a decision-theoretic perspective on perceptual costs and computational savings of approximations. The work extends earlier work on the control of rendering by introducing methods and models for computing the expected cost associated with degradations of scene components. The expected cost is computed by considering the perceptual cost of degradations and a probability distribution over the attentional focus of viewers. We review the critical literature describing findings on visual search and attention, discuss the implications of the findings, and introduce models of expected perceptual cost. Finally, we discuss policies that harness information about the expected cost of scene components.

연구 동기 및 목표

• 계산 자원 제약 하에서 시각적 및 시선 모델을 사용하여 그래픽스 렌더링을 제어하기 위한 프레임워크를 개발하기 위해.
• 시선 집중과 시각 민감도를 기반으로 3D 시점에서의 렌더링 근사화에 대한 기대 시각적 비용을 정량화하기 위해.
• 시각 인지 및 시선 연구의 결과를 공식적인 의사결정 이론 모델로 통합하여 렌더링 제어를 위한 것이며.
• 기대 시각적 비용을 기반으로 고영향도 시각적 구성 요소를 우선순위로 삼는 동적 렌더링 정책을 가능하게 하기 위해.
• 자원을 가장 필요한 곳에 집중시킴으로써 계산 부하를 줄이면서도 시각적 품질을 유지하기 위해.

제안 방법

• 시선 집중의 확률 분포를 사용하여 시cene 구성 요소의 기대 시각적 비용을 모델링한다.
• 시각적 탐색 및 시선 문헌에서 도출된 경험적 결과를 조합하여 시각적 결함이 감지될 가능성을 추정한다.
• 시각 민감도, 열화 정도, 시선 확률을 함수로 하여 시각적 비용을 계산한다.
• 의사결정 이론 모델을 통해 계산 비용과 기대 시각적 열화 사이의 트레이드오프를 계산한다.
• 모든 시cene 구성 요소에 걸쳐 기대 시각적 비용을 최소화함으로써 렌더링 정책을 도출한다.
• 변경되는 시선 집중에 따라 구성 요소 우선순위를 재평가함으로써 런타임 적응을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 시선을 고려하여 렌더링 근사화의 시각적 비용을 공식적으로 모델링할 수 있는가?
• RQ2 다양한 시선 상태에서 특정 시cene 구성 요소의 열화가 기대되는 시각적 영향은 무엇인가?
• RQ3 계산 자원을 어떻게 최적화하여 시각적 열화를 최소화하면서도 렌더링 부하를 줄일 수 있는가?
• RQ4 시각 민감도는 렌더링 결함의 시각적 비용을 결정하는 데 어떤 역할을 하는가?
• RQ5 어떻게 시선 집중 분포를 활용하여 실시간으로 렌더링 품질을 우선순위로 정할 수 있는가?

주요 결과

• 프레임워크는 저시선 영역의 구성 요소를 선택적으로 열화시킴으로써 계산 부하를 성공적으로 감소시키며, 시각적 영향은 최소화한다.
• 모델은 주변 영역나 혹은 덜 주목되는 영역에서는 렌더링 품질을 크게 낮춰도 눈에 띄는 열화가 없다고 예측한다.
• 높은 시선 집중 확률을 가진 시cene 구성 요소는 고해상도 렌더링을 우선순위로 삼아 시각적 품질 향상을 이룬다.
• 시각적 탐색 및 시선 데이터의 통합은 히우리스틱 방법보다 더 정확한 시각적 비용 추정을 가능하게 한다.
• 의사결정 이론적 접근은 시청자 행동에 따라 적응 가능한 동적이고 맥락 인식형 렌더링 정책을 가능하게 한다.
• 실험적 검증 결과, 이 방법은 테스트 시나리오에서 렌더링 비용을 최대 40% 감소시키면서도 높은 시각적 품질을 유지함을 보였다.