[논문 리뷰] Interactive Sound Rendering on Mobile Devices using Ray-Parameterized Reverberation Filters

Carl Schissler, Dinesh Manocha|arXiv (Cornell University)|2018. 03. 01.

Speech and Audio Processing참고 문헌 29인용 수 6

한 줄 요약

이 논문은 구면 조화 함수 표현을 사용하여 레이 트레이싱된 인파르스 응답과 레이-파rameterized 리버버버레이션 필터를 결합한 실시간, 모바일 호환성 있는 사운드 렌더링 시스템을 제시한다. 저샘플링 레이트의 인파르스 응답에서 리버버버레이션 파ram터를 추정하고, 청취자당 일정 수의 컨볼루션을 수행함으로써 기존의 컨볼루션 기반 방법에 비해 10배 이상의 속도 향상과 10배 이상의 메모리 절감을 달성하여, 스마트폰에서 고품질의 인터랙티브 오디오를 처음으로 가능하게 한다.

ABSTRACT

We present a new sound rendering pipeline that is able to generate plausible sound propagation effects for interactive dynamic scenes. Our approach combines ray-tracing-based sound propagation with reverberation filters using robust automatic reverb parameter estimation that is driven by impulse responses computed at a low sampling rate.We propose a unified spherical harmonic representation of directional sound in both the propagation and auralization modules and use this formulation to perform a constant number of convolution operations for any number of sound sources while rendering spatial audio. In comparison to previous geometric acoustic methods, we achieve a speedup of over an order of magnitude while delivering similar audio to high-quality convolution rendering algorithms. As a result, our approach is the first capable of rendering plausible dynamic sound propagation effects on commodity smartphones.

연구 동기 및 목표

• 저성능 모바일 장치에서 동적인 가상 환경에서 현실적이고 인터랙티브한 사운드 전파를 가능하게 하기 위해.
• 모바일 플랫폼에서 컨볼루션 기반 오디오 렌더링의 계산 및 메모리 제약를 극복하기 위해.
• 처리 오버헤드를 극적으로 줄이면서도 방향성과 공간적 오디오 품질을 유지하는 방법을 개발하기 위해.
• 다양한 움직이는 사운드 소스가 포함된 복잡한 시나리오에서도 최소한의 지연과 메모리 사용량으로 실시간 성능을 달성하기 위해.

제안 방법

• 저샘플링 레이트의 레이 트레이싱된 인파르스 응답을 사용하여 실시간으로 리버버버레이션 파ram터를 추정한다.
• 소리 전파와 청취자화를 위한 통합된 구면 조화 함수 표현을 활용하여 효율적인 방향성 소리 모델링을 가능하게 한다.
• 레이 트레이싱 결과에 기반해 리버버버레이션 필터를 파aram터화함으로써 시나리오 변화에 동적으로 대응할 수 있도록 한다.
• 청취자당 일정 수의 컨볼루션 연산을 수행하며, 사운드 소스의 수와는 무관하다.
• 구면 조화 계수를 사용해 방향성 소리장을 표현함으로써 짧은 인파르스 응답과의 효율적 컨볼루션을 가능하게 한다.
• 시간적 일관성 기법을 적용하여 오디오 품질을 향상시키지만, 빠른 변화에 대한 반응성은 약간 감소시킬 수 있다.

실험 결과

연구 질문

• RQ1 계산 비용이 효율적인 사운드 렌더링 파이프라인은 스마트폰에서 컨볼루션 기반 방법과 비슷한 오디오 품질을 달성할 수 있는가?
• RQ2 제한된 계산 자원을 가진 환경에서, 동적인 시나리오에서 방향성과 시간에 따라 변화하는 리버버버레이션을 어떻게 효율적으로 모델링할 수 있는가?
• RQ3 저샘플링 레이트의 인파르스 응답을 효과적으로 활용하여 실시간 오디오 렌더링을 위한 고해상도 리버버버레이션 파aram터를 추정할 수 있는가?
• RQ4 인터랙티브 오디오 시스템에서 컨볼루션을 인공 리버버버레이션으로 대체할 경우, 오디오 품질과 계산 효율성 사이의 상충 관계는 어떻게 되는가?
• RQ5 구면 조화 함수 표현은 공간 오디오 품질을 유지하면서 얼마나 메모리와 계산 비용을 절감할 수 있는가?

주요 결과

• 제안된 방법은 기존의 컨볼루션 기반 사운드 렌더링 파이프라인에 비해 10배 이상의 속도 향상을 달성한다.
• 메모리 사용량은 약 10배 감소하여 스마트폰에서 더 많은 동시 사운드 소스를 지원할 수 있게 된다.
• 이 시스템은 처음으로 일반 소비자용 스마트폰에서 고품질, 인터랙티브하고 물리적으로 타당한 사운드를 렌더링하는 데 성공했다.
• 주관적 평가 결과, 제안된 방법과 컨볼루션 기반 렌더링 간에 유의미한 선호도 차이가 없었으며, 대부분의 경우 청각적 등가성을 보여주었다.
• 스페이스 스테이션 시나리오에서는 제안된 방법에 대해 약간의 일관된 선호도가 관찰되어, 장면에 따라 이점이 있을 수 있음을 시사했다.
• 계산 부담이 감소한 상황에서도, 구면 조화 기반 공간 표현을 통해 방향성 오디오 품질을 유지한다.