[論文レビュー] Interactive Sound Rendering on Mobile Devices using Ray-Parameterized Reverberation Filters

Carl Schissler, Dinesh Manocha|arXiv (Cornell University)|Mar 1, 2018

Speech and Audio Processing参考文献 29被引用数 6

ひとこと要約

本稿では、球面調和関数表現を用いたレイトレースされたインパulse応答とレイトレース・パrameter化されたリバーブフィルタを組み合わせることで、リアルタイムかつモバイル対応の音響レンダリングシステムを提示する。低サンプルレートのインパulse応答からリバーブパラメータを推定し、1人のリスナーあたり一定数の畳み込み処理を行うことで、従来の畳み込みベースの手法と比較して10倍以上の高速化と10倍のメモリ削減を達成し、スマートフォン上で高品質なインタラクティブ音声処理を初めて実現した。

ABSTRACT

We present a new sound rendering pipeline that is able to generate plausible sound propagation effects for interactive dynamic scenes. Our approach combines ray-tracing-based sound propagation with reverberation filters using robust automatic reverb parameter estimation that is driven by impulse responses computed at a low sampling rate.We propose a unified spherical harmonic representation of directional sound in both the propagation and auralization modules and use this formulation to perform a constant number of convolution operations for any number of sound sources while rendering spatial audio. In comparison to previous geometric acoustic methods, we achieve a speedup of over an order of magnitude while delivering similar audio to high-quality convolution rendering algorithms. As a result, our approach is the first capable of rendering plausible dynamic sound propagation effects on commodity smartphones.

研究の動機と目的

• 低消費電力のモバイルデバイス上で、動的で現実的な仮想環境における音響伝搬をリアルタイムでインタラクティブに実現すること。
• モバイルプラットフォームにおける畳み込みベース音響レンダリングの計算およびメモリ制限を克服すること。
• 処理オーバーヘッドを大幅に削減しながらも、方向性と空間的音質を維持する手法を開発すること。
• 複数の移動音源を含む複雑なシーンにおいて、最小限の遅延とメモリ使用量でリアルタイム性能を達成すること。

提案手法

• 本手法は、リアルタイムでリバーブパラメータを推定できる低サンプルレートのレイトレースされたインパulse応答を用いる。
• 音響伝搬とアオリゼーションの両方を統一された球面調和関数表現で行い、効率的な方向性音響モデルを実現する。
• レイトレースの結果に基づいてリバーブフィルタをパラメータ化し、シーンの変化に応じた動的適応を可能にする。
• 1人のリスナーあたりの畳み込み処理回数を一定に保ち、音源数に依存しない。
• 球面調和係数を用いて方向性音場を表現することで、短いインパulse応答との効率的な畳み込みを実現する。
• 時間的整合性技術を適用して音質を向上させるが、急激な変化への対応性がわずかに低下する可能性がある。

実験結果

リサーチクエスチョン

• RQ1 計算効率の高い音響レンダリングパイプラインは、モバイルデバイス上で畳み込みベース手法と同等の音質を達成できるか？
• RQ2 制限された計算リソースの中で、動的シーンにおける方向性および時間変化するリバーブを効率的にモデル化できるか？
• RQ3 低サンプルレートのインパulse応答を効果的に用いて、リアルタイム音声レンダリングに適した高精細リバーブパラメータを推定できるか？
• RQ4 インタラクティブ音声システムにおいて畳み込みを人工的リバーブに置き換える際の、音質と計算効率のトレードオフは何か？
• RQ5 球面調和関数表現は、空間音響の忠実度を保持しつつ、メモリおよび計算コストをどの程度削減できるか？

主な発見

• 提案手法は、従来の畳み込みベース音響レンダリングパイプラインと比較して10倍以上の高速化を達成した。
• メモリ使用量は約10倍削減され、スマートフォン上でより多くの同時音源をサポートできるようになった。
• 本システムは、一般のスマートフォン上で、高品質でインタラクティブかつ物理的に妥当な音声を初めてレンダリングした。
• 主観的評価では、提案手法と畳み込みベースレンダリングとの間に顕著な差は認められず、大多数のケースで知覚的に同等であることが示された。
• 宇宙ステーションのシーンでは、わずかだが一貫した好まれ方の傾向が認められ、シーン依存の利点がある可能性が示唆された。
• 計算負荷を低減しても、球面調和関数に基づく空間表現により方向性音質を維持している。