[論文レビュー] ANGUS: Real-time manipulation of vocal roughness for emotional speech transformations

Marco Liuni, Luc Ardaillon+3 more|arXiv (Cornell University)|Aug 25, 2020

Speech and Audio Processing参考文献 44被引用数 5

ひとこと要約

ANGUSは、振幅変調と時間領域フィルタリングを用いて声の粗さを操作するリアルタイムで計算効率の良いアルゴリズムであり、声の興奮状態を模倣する。この手法は、声、動物の鳴き声、楽器音のすべてにおいて、感情的な否定的評価を効果的に高め、被験者が変換済み音声と元の音声を信頼性を持って区別できないことを示している。

ABSTRACT

Vocal arousal, the non-linear acoustic features taken on by human and animal vocalizations when highly aroused, has an important communicative function because it signals aversive states such as fear, pain or distress. In this work, we present a computationally-efficient, real-time voice transformation algorithm, ANGUS, which uses amplitude modulation and time-domain filtering to simulate roughness, an important component of vocal arousal, in arbitrary voice recordings. In a series of 4 studies, we show that ANGUS allows parametric control over the spectral features of roughness like the presence of sub-harmonics and noise; that ANGUS increases the emotional negativity perceived by listeners, to a comparable level as a non-real-time analysis/resynthesis algorithm from the state-of-the-art; that listeners cannot distinguish transformed and non-transformed sounds above chance level; and that ANGUS has a similar emotional effect on animal vocalizations and musical instrument sounds than on human vocalizations. A real-time implementation of ANGUS is made available as open-source software, for use in experimental emotion reseach and affective computing.

研究の動機と目的

• リアルタイムで計算効率の良い方法を用いて、感情的音声変換のための声の粗さを操作すること。
• 事前に録音された声に非線形な声の特徴（サブハーモニクスやノイズなど）を追加するためのリアルタイムソリューションの不足を解消すること。
• 任意の音声信号において、サブハーモニクスやスペクトルノイズなどの粗さ成分をパrametric制御可能にすること。
• ANGUSの感情的影響が人間の声、動物の鳴き声、楽器音に与える影響を、非リアルタイムの最先端手法と比較して評価すること。
• 被験者が変換済み音声と元の音声をどれだけ自然に感じ、区別できるかを評価すること。

提案手法

• 低周波の変調信号を用いて元の信号に振幅変調を適用し、サブハーモニクス成分を生成する。
• 時間領域フィルタを用いて変調信号のスペクトルエンVELOPを整形し、粗さ特徴を強調する。
• キャリア信号をコサイン波、変調信号を深さh ∈ [0,1] のコサイン波としてモデル化し、(ωc ± ωm)に側帯が現れるようにする。
• 出力信号は元のキャリアと2つの側帯に分解され、y(t) = x_c(t) + y^+(t) + y^-(t) となり、サブハーモニクス成分が生成される。
• 入力音声ストリームの動的制御が可能なリアルタイム処理パイプラインにアルゴリズムを統合する。
• ANGUSを、感情的変換の忠実度において最先端の非リアルタイム分析・再合成手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 ANGUSは、サブハーモニクスやノイズといった声の粗さに関連するスペクトル特徴をどの程度パrametric制御可能か？
• RQ2 ANGUSは、非リアルタイムの最先端手法と同等のレベルで、鳴き声の感情的否定的評価を高めることができるか？
• RQ3 被験者は、知覚テストにおいてANGUS変換済みの声と非変換の声を信頼性を持って区別できるか？
• RQ4 ANGUSは、人間の声に加え、非声の音（例：動物の鳴き声、楽器音）に対しても、同様の感情的効果をもたらすか？
• RQ5 文脈的要因や音響的要因（例：ピッチ、音量）が、ANGUSによって誘発される粗さと感情的認知にどのように作用するか？

主な発見

• ANGUSは、振幅変調とフィルタリングにより、サブハーモニクスやノイズといった粗さ特徴をパrametric制御可能に実現した。
• 被験者はANGUS変換済みの声を、非リアルタイムの最先端分析・再合成手法と同等のレベルで、著しく感情的に否定的と感じた。
• 被験者は、ANGUS変換済みの声と非変換の声を、偶然のレベルを上回って信頼性を持って区別できず、高い知覚的自然さを示した。
• ANGUSの感情的効果は、人間の声、動物の鳴き声、楽器音のすべてで一貫しており、ドメインを超えた適用可能性が示された。
• 平均ピッチは、感情的否定性にΔ = +1.0の効果を示し、ピッチと粗さが独立的だが加法的な感情的サインとして作用している可能性を示唆した。
• ベースラインとして用いたCONTROLアルゴリズムは、非変換の刺激よりも自然さが高かったが、これは知覚バイアスまたは短い600msのクリップにおける音響的複雑性の低減による可能性がある。