[論文レビュー] Sound Analysis and Synthesis Adaptive in Time and Two Frequency Bands

Marco Liuni, Péter Balázs+1 more|arXiv (Cornell University)|Sep 29, 2011

Acoustic Wave Phenomena Research参考文献 18被引用数 7

ひとこと要約

本稿では、時間と周波数領域における自動的分解能調整を伴う非定常ガボールフレームを用いた、音声信号の高速で適応的な時間周波数解析および再合成手法を提示する。2つの補完的周波数帯域に解析重みを適用し、Rényiエントロピーを用いたスパarsity最適化により、再構成誤差を最小限に抑えつつ計算効率を維持する。これにより、信号の内容に応じた局所的分解能を有する高品質な音声再構成が可能になる。

ABSTRACT

We present an algorithm for sound analysis and resynthesis with local automatic adaptation of time-frequency resolution. There exists several algorithms allowing to adapt the analysis window depending on its time or frequency location; in what follows we propose a method which select the optimal resolution depending on both time and frequency. We consider an approach that we denote as analysis-weighting, from the point of view of Gabor frame theory. We analyze in particular the case of different adaptive time-varying resolutions within two complementary frequency bands; this is a typical case where perfect signal reconstruction cannot in general be achieved with fast algorithms, causing a certain error to be minimized. We provide examples of adaptive analyses of a music sound, and outline several possibilities that this work opens.

研究の動機と目的

• 時間と周波数の両領域において、信号の局所的特徴に基づき分解能を調整できる、高速で適応的な音声信号の時間周波数表現を開発すること。
• 周波数帯域に非一様な分解能を適用する場合、高速アルゴリズムで不完全な再構成が生じるという課題に対処すること。
• Rényiエントロピーから導出されるスパarsity指標を最適化することで、マルチバンド適応解析における再構成誤差を最小化すること。
• 制御された誤差を有する効率的でリアルタイム対応可能なアルゴリズムを提供し、実用的な音声処理応用を可能にすること。

提案手法

• コンパクトにサポートされた時間窓を有する非定常ガボールフレーム（NGFs）を用い、効率的な再構成を実現する。
• 解析重みの適用：各周波数帯域を個別に分析し、バンド固有の窓関数を用い、係数をその割り当てられた周波数領域に一致させるように重み付けする。
• 各バンドの双対フレームの和集合を用いて再構成式を導出する。周波数ごとの有効バンド数に基づいた正規化が施される。
• 各バンドにおける最適な時間周波数分解能は、2次のRényiエントロピーを用いたスパarsity最大化により選択される。
• アルゴリズムの主な計算コストとして高速フーリエ変換（FFT）が用いられ、効率性が保証される。
• 部分的な係数集合が使用される場合の誤差を最小限に抑えるために、閉形式の再構成式が導出される。

実験結果

リサーチクエスチョン

• RQ1 音声信号の時間周波数分解能を、時間と周波数の両領域においてどのように適応的に最適化すれば、表現品質を向上させられるか？
• RQ2 2つの周波数帯域に非一様な分解能を適用する高速アルゴリズムを用いた場合、再構成誤差の最小値はどの程度達成可能か？
• RQ3 Rényiエントロピーに基づくスパarsity指標は、適応的ガボール解析における自動窓サイズ選択を効果的に導くことができるか？
• RQ4 解析重み法は、フィルターバンク手法と比較して、誤差制御性と計算効率の面で優れているか？
• RQ5 重なりを持つ重み関数の影響は、再構成誤差と信号忠実度にどのように現れるか？

主な発見

• 本手法は、時間と周波数の両領域において信号の局所的特徴に基づき窓サイズを適応的に変更することで、信号再構成における顕著な誤差低減を達成する。
• 2次Rényiエントロピーを用いた最適分解能選択により、スパースな表現が得られ、再構成精度が向上する。
• 重み付き係数と双対フレーム展開における正規化を用いることで、再構成誤差は有界かつ最小化される。
• 高速フーリエ変換に依存することで、計算効率が維持され、リアルタイム音声処理に適したアルゴリズムが実現される。
• 再構成信号のスペクトログラムと誤差マップから、本手法が低周波成分および高周波成分の両方を最小限のアーティファクトで効果的に保持していることが示された。
• 解析重みの使用により、完全再構成と計算速度のトレードオフが可能となり、実用応用において許容可能な誤差レベルを達成している。