[論文レビュー] Vector-Quantized Timbre Representation

Adrien Bitton, Philippe Esling+1 more|arXiv (Cornell University)|Jul 13, 2020

Music and Audio Processing参考文献 22被引用数 5

ひとこと要約

本論文では、音色の明瞭な分離と、音量から独立した離散的潜在表現を学習するVQ-VAEベースのオートエンコーダーを提案する。これにより、柔軟な音色転送と記述子に基づく合成が可能となる。スペクトル特徴をコードブックに量子化し、それらを音響的記述子にマッピングすることで、音声駆動の音色転送や一貫性のあるスペクトル形状制御を含む、直感的で高水準の音声合成制御が実現される。

ABSTRACT

Timbre is a set of perceptual attributes that identifies different types of sound sources. Although its definition is usually elusive, it can be seen from a signal processing viewpoint as all the spectral features that are perceived independently from pitch and loudness. Some works have studied high-level timbre synthesis by analyzing the feature relationships of different instruments, but acoustic properties remain entangled and generation bound to individual sounds. This paper targets a more flexible synthesis of an individual timbre by learning an approximate decomposition of its spectral properties with a set of generative features. We introduce an auto-encoder with a discrete latent space that is disentangled from loudness in order to learn a quantized representation of a given timbre distribution. Timbre transfer can be performed by encoding any variable-length input signals into the quantized latent features that are decoded according to the learned timbre. We detail results for translating audio between orchestral instruments and singing voice, as well as transfers from vocal imitations to instruments as an intuitive modality to drive sound synthesis. Furthermore, we can map the discrete latent space to acoustic descriptors and directly perform descriptor-based synthesis.

研究の動機と目的

• 音量とは独立した、個々の音色の分離され、離散的な潜在表現を開発すること。
• オchestral楽器や声を含む多様な音源間で柔軟な音色転送を可能にすること。
• 離散的潜在ベクトルを音響的特性にマッピングすることで、高水準の記述子ベース音声合成を支援すること。
• 声の模倣を制御信号として用いて音色合成を可能にすること。
• 直接音声合成に利用可能な、分離され解釈可能な音色特徴の表現を提供すること。

提案手法

• 本モデルは、ターゲット音色の短時間スペクトル特徴を表す離散的潜在コードブックを学習するために、生波形上でVQ-VAEオートエンコーダーを訓練する。
• モデルはRNNベースのデコーダーを用い、潜在ベクトルから得られる係数でノイズ励起をフィルタリングする重ね合わせ減算合成により音声を生成する。
• 音量が潜在空間から明示的に分離されており、音色転送が音高と音量を独立して保持することを保証する。
• 離散的潜在ベクトルと音響的記述子（例：スペクトル重心、帯域幅）との間のマッピングを学習し、直接的な合成制御を可能にする。
• 音色転送は、任意の入力信号を学習済みの離散的潜在コードにエンコードし、それに対して音色固有のモデルでデコードすることで実行する。
• モデルは可変長の入力信号をサポートしており、楽器間転送および声の模倣から楽器音色への転送を評価対象としている。

実験結果

リサーチクエスチョン

• RQ1 生波形から、音量とは独立した離散的かつ分離された音色の潜在表現を学習できるか？
• RQ2 この表現が、声やオーケストラ楽器を含む多様な音源間で高精度な音色転送を可能にするか？
• RQ3 離散的潜在空間が音響的記述子にマッピング可能であり、直接的で記述子ベースの音声合成を可能にするか？
• RQ4 声の模倣が音色合成の制御信号として効果的に使用できるか？
• RQ5 音色転送中に基本周波数と音量が保持され、知覚的に一貫性が保たれるか？

主な発見

• 本モデルは、オーケストラ楽器と声の間で音色転送を成功裏に実行し、低い基本周波数と音量再構成誤差を示しており、音高とダイナミクスの保持が確認された。
• 声の模倣が楽器音色に効果的に転送され、ピッチが正確でない入力でも音声駆動音声合成の実現可能性が示された。
• 離散的潜在空間は、スペクトル重心や帯域幅などの音響的記述子への直接的なマッピングを可能にし、記述子ベースの合成による一貫性のあるスペクトル形状制御を実現した。
• 減算合成を用いて高品質な音声を生成でき、信号タイプや長さに制限がなく、転送間での知覚的一致性を維持した。
• 潜在ベクトルと音響的記述子のマッピングは、コードブック内のインデックス位置が音響的類似性と相関しないことを示しており、学習された記述子マッピングの必要性を裏付けた。
• 潜在投影時に音響的に一貫性のない特徴を破棄することで、本モデルはノイズ除去に類似したロバスト性を示し、多様な録音条件下での転送性能を向上させた。