[論文レビュー] Overview of Tasks and Investigation of Subjective Evaluation Methods in Environmental Sound Synthesis and Conversion

Yuki Okamoto, Keisuke Imoto+5 more|arXiv (Cornell University)|Aug 27, 2019

Music and Audio Processing参考文献 17被引用数 6

ひとこと要約

本稿は環境音の合成と変換タスクをレビューし、WaveNetのような統計的生成モデルに焦点を当て、多面的な主観的評価フレームワークを提案する。合成音の評価には、理解性、識別性、自然さの指標を用い、WaveNetベースの合成が特に電気シェーバーや複雑な音などの周囲音においても依然として知覚的品質に劣ることを明らかにした。また、評価の信頼性を高めるために複数の評価手法を組み合わせることを推奨する。

ABSTRACT

Synthesizing and converting environmental sounds have the potential for many applications such as supporting movie and game production, data augmentation for sound event detection and scene classification. Conventional works on synthesizing and converting environmental sounds are based on a physical modeling or concatenative approach. However, there are a limited number of works that have addressed environmental sound synthesis and conversion with statistical generative models; thus, this research area is not yet well organized. In this paper, we review problem definitions, applications, and evaluation methods of environmental sound synthesis and conversion. We then report on environmental sound synthesis using sound event labels, in which we focus on the current performance of statistical environmental sound synthesis and investigate how we should conduct subjective experiments on environmental sound synthesis.

研究の動機と目的

• 環境音の合成および変換の問題定義と応用を整理・明確化すること、特にディープラーニングの文脈において。
• 特に主観的評価アプローチにおいて標準化された評価手法の欠如に対処すること。
• 統計的生成モデル（特にWaveNet）が環境音をどれほど効果的に合成できるかを調査すること。
• 理解性、識別性、自然さを含む多次元評価フレームワークを提案し、合成された環境音の品質を評価すること。
• 評価実践におけるギャップを特定し、今後の研究を導くために、環境音の合成における主観的テストのベストプラクティスを提言すること。

提案手法

• 高品質なオーディオ機器（Roland UA-55インターフェースおよびSONY MDR-CD900STヘッドホン）を用いた制御環境下で24名の被験者を対象に主観的評価実験を実施した。
• 3つの異なる主観的テストを実施した：(1) 理解性のための音声イベント分類（再現率ベース）、(2) 識別性のためのAB好みテスト、(3) 自然さのための5段階評価スケール（MOS）による評価。
• WaveNetベースのモデルを用いて、音声イベントまたはシーンラベルから環境音を合成し、リアリズムと知覚的忠実度に焦点を当てた。
• 標準的な心理物理学的テストプロトコルに従い、実音と合成音をランダムに提示してデータを収集・分析した。
• 複数の指標を用いて、合成音の性能を実環境音と比較し、知覚的品質とリアリズムを評価した。
• スペクトログラム分析を用いて、知覚的差異をスペクトル的特徴と関連づけ、特に誤分類や低自然さの音に注目した。

実験結果

リサーチクエスチョン

• RQ1 WaveNetベースのモデルは、特定の音声イベントとして知覚的に認識可能な環境音をどれほど効果的に合成できるか？
• RQ2 好みテストにおいて、被験者は実音と合成音をどれほど正確に識別できるか？
• RQ3 5段階MOSスケールを用いた場合、被験者は合成音の自然さを実音と比較してどの程度評価するか？
• RQ4 現在の統計的生成モデル（例：WaveNet）は、複雑な環境音の微細なスペクトル構造を再現する際にどのような制限を抱えているか？
• RQ5 どの主観的評価指標の組み合わせが、環境音合成品質の最も情報豊かな評価を提供するか？

主な発見

• 音声イベント分類（理解性）の平均Fスコアは、実音で86.22%、合成音で76.30%であった。これは、合成されたドラム音はよく認識されていたが、カップのこすれ音や電気シェーバー音は頻繁に誤分類されていたことを示している。
• 識別性ABテストにおいて、被験者は実音を82.71%の正確さで正しく識別した。これは、WaveNetによる合成音が依然として実音とは知覚的に区別可能であることを示している。
• 自然さのための平均意見スコア（MOS）では、合成されたコーヒーミル、時計、マラカスの音は実音と同程度のスコアを示したが、電気シェーバー音やゴミ箱をたたきつける音は顕著に低いスコアであった。
• スペクトログラム分析から、合成された電気シェーバー音には微細なスペクトル構造が欠けており、破かれる紙の音など類似音と混同される原因となっていた。
• 理解性だけでは合成品質の評価に不十分であることが判明した。一部の音は正しく分類されたが、自然さが低く評価されたため、複数指標による評価の必要性が浮き彫りになった。
• 結果から、環境音の合成を評価する際には、理解性に加え、識別性と自然さの両面を評価する必要があることが支持された。これにより、知覚的リアリズムが確保される。