[論文レビュー] Vocal Tract Area Estimation by Gradient Descent

David Südholt, Mateo Cámara+2 more|arXiv (Cornell University)|Jul 10, 2023

Speech and Audio ProcessingComputer Science被引用数 3

ひとこと要約

本稿では、音声から声道面積関数および声門源パラメータを推定する白箱型勾配ベース最適化手法を提案する。この手法により、Pink Tromboneの発音合成器における正確な音声再現が可能になる。微分可能な声道モデルを通じて誤差勾配を逆伝播させることで、遺伝的アルゴリズムやニューラルネットワークといったブラックボックスベースラインよりも、主観的聴取テストで優れた性能を示した。

ABSTRACT

Articulatory features can provide interpretable and flexible controls for the synthesis of human vocalizations by allowing the user to directly modify parameters like vocal strain or lip position. To make this manipulation through resynthesis possible, we need to estimate the features that result in a desired vocalization directly from audio recordings. In this work, we propose a white-box optimization technique for estimating glottal source parameters and vocal tract shapes from audio recordings of human vowels. The approach is based on inverse filtering and optimizing the frequency response of a wave\-guide model of the vocal tract with gradient descent, propagating error gradients through the mapping of articulatory features to the vocal tract area function. We apply this method to the task of matching the sound of the Pink Trombone, an interactive articulatory synthesizer, to a given vocalization. We find that our method accurately recovers control functions for audio generated by the Pink Trombone itself. We then compare our technique against evolutionary optimization algorithms and a neural network trained to predict control parameters from audio. A subjective evaluation finds that our approach outperforms these black-box optimization baselines on the task of reproducing human vocalizations.

研究の動機と目的

• 音声録音からアーティキュレーター・パラメータを推定するための微分可能で白箱型の最適化手法の開発。
• Pink Trombone発音合成器を用いて、人間の発声を正確に再現可能にする。
• 遺伝的アルゴリズムやニューラルネットワークといったブラックボックス手法の収束速度および解釈可能性の制限を克服する。
• 勾配ベース最適化が、時間的に変化する発声の制御パラメータを効果的に回復できることを示す。
• ニューラルネットワークを用いたエンドツーエンド微分可能な発音合成の基盤を築く。

提案手法

• 目標音声から声門源波形と声道の全極点フィルタ応答を分離するために逆フィルタリングを用いる。
• 声道の伝達関数を面積関数に基づいて解析的に定式化し、この関数と推定されたフィルタとの差を最小化する勾配降下法を適用する。
• アーティキュレーター制御パラメータから声道面積関数へのマッピングの微分可能実装により、誤差勾配をパラメータへ逆伝播可能にする。
• 最適化はフレーム単位で実行され、前のフレームの解からの初期化により時間的連続性を確保する。
• 本手法は、声門源と声道を物理的原理に基づいてモデル化するPink Trombone合成器に適用される。
• 比較のため、ブラックボックスベースラインには遺伝的アルゴリズム、粒子群最適化、およびパラメータ予測用のCNNベースのニューラルネットワークが含まれる。

Figure 1: The user interface of the Pink Trombone articulatory synthesizer.

実験結果

リサーチクエスチョン

• RQ1 教師あり学習データが不要な状態で、勾配ベース最適化が音声から声道面積関数を効果的に回復できるか？
• RQ2 白箱型で微分可能な最適化手法は、ブラックボックスベースラインと比較して、人間の発声をどれほど正確に再現できるか？
• RQ3 本手法は、動的発声における時間的に変化するアーティキュレーター・パラメータを正確に推定できるか？
• RQ4 勾配ベース最適化は、進化的またはニューラルネットワークベースのアプローチよりも、より被験的認識に近い再現性を達成できるか？
• RQ5 本手法は、ニューラルネットワークを用いたエンドツーエンド微分可能な発音合成へ拡張可能か？

主な発見

• 提案手法は、Pink Trombone合成器自身が生成した音声から、声道面積関数を正確に回復できた。
• 主観的聴取テストにおいて、本手法は遺伝的アルゴリズム、粒子群最適化、およびトレーニング済みのCNN（p < 0.001）をすべて顕著に上回った。
• 学習データやモデルのファインチューニングを一切必要とせず、優れた被験的品質を達成した。
• フレーム単位の初期化と勾配伝播の活用により、時間的に変化する発声に対して滑らかで時間的整合性のあるパラメータ軌跡が得られた。
• Friedman検定により、各手法間で被験的品質に顕著な差があることが確認された（p < 0.001）、かつ後続の多重比較検定により勾配ベース手法の優位性が裏付けられた。
• 微分可能な物理モデルを用いた逆音響モデリングが、発音合成分野で実現可能であることが示された。

Figure 2: Illustration of the proposed sound matching method. Target audio is inverse filtered to obtain a source waveform and the transfer function of a filter. For resynthesis, the glottal control parameters $F_{0}$ and Tenseness are estimated from the source waveform. The vocal tract area functio