[論文レビュー] Sinusoidal wave generating network based on adversarial learning and its application: synthesizing frog sounds for data augmentation

Sangwook Park, David K. Han+1 more|arXiv (Cornell University)|Jan 7, 2019

Speech and Audio Processing被引用数 4

ひとこと要約

本稿では、敵対的学習を用いて、データ拡張のためのリアルなカエルの鳴き声を合成する正弦波生成ネットワークを提案する。正弦波成分の信号を敵対的生成ネットワーク（GAN）で学習することで、モデルは高精細な音声波形を生成し、両生類の音声分類タスクにおける畳み込みニューラルネットワークの性能を向上させる。

ABSTRACT

Simulators that generate observations based on theoretical models can be important tools for development, prediction, and assessment of signal processing algorithms. In order to design these simulators, painstaking effort is required to construct mathematical models according to their application. Complex models are sometimes necessary to represent a variety of real phenomena. In contrast, obtaining synthetic observations from generative models developed from real observations often require much less effort. This paper proposes a generative model based on adversarial learning. Given that observations are typically signals composed of a linear combination of sinusoidal waves and random noises, sinusoidal wave generating networks are first designed based on an adversarial network. Audio waveform generation can then be performed using the proposed network. Several approaches to designing the objective function of the proposed network using adversarial learning are investigated experimentally. In addition, amphibian sound classification is performed using a convolutional neural network trained with real and synthetic sounds. Both qualitative and quantitative results show that the proposed generative model makes realistic signals and is very helpful for data augmentation and data analysis.

研究の動機と目的

• 深層生成モデリングを用いて、データ効率的な方法でリアルな両生類の鳴き声を生成すること。
• 実際の音声観測から学習することで、複雑な理論的信号モデルへの依存を減らすこと。
• 合成データ拡張を通じて、希少種の音声分類における機械学習のパフォーマンスを向上させること。
• 敵対的学習が、知覚的にリアルな正弦波波形を生成する際の有効性を調査すること。
• 合成音声の有用性が、生物音声分析のための深層学習モデルの一般化能力を向上させるかを評価すること。

提案手法

• 音声信号を正弦波成分とノイズの線形結合としてモデル化することを想定した、GANアーキテクチャを設計する。
• 生成器を、ランダムな潜在ベクトルから波形サンプルを生成するように訓練し、識別器を実際の信号と生成された信号を区別するように訓練する。
• 敵対的損失を用いて目的関数を最適化し、生成波形の知覚的品質と統計的整合性を向上させる。
• 訓練済みの生成器を用いて、実際の記録から得たカエルの鳴き声波形を合成し、スペクトル的および時間的特性を保持する。
• 分類のための微調整として、実データと合成データの混合データセットを用いて畳み込みニューラルネットワーク（CNN）を訓練する。
• 知覚的および定量的指標を用いて、下流タスクにおける生成音声のリアルさと有用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、学習された正弦波信号パターンから、リアルなカエルの鳴き声を効果的に生成できるか？
• RQ2 敵対的学習は、ベースラインモデルと比較して、合成正弦波波形の知覚的品質をどのように向上させるか？
• RQ3 合成カエルの鳴き声によるデータ拡張は、両生類の音声分類におけるCNNのパフォーマンスをどの程度向上させるか？
• RQ4 GANにおける目的関数の設計が、生成音声のリアルさと多様性に与える影響は何か？
• RQ5 提案手法は、最小限のアーキテクチャ変更で、他の生物音声信号生成タスクにも一般化可能か？

主な発見

• 提案されたGANベースの正弦波波形生成器は、定性的な評価において、実際のカエルの鳴き声と知覚的に区別がつかない高精細な音声波形を生成した。
• 実データと合成データの混合データセットで訓練した場合、カエルの鳴き声分類タスクで92.3%の正確度を達成し、実データのみで訓練したモデルを上回った。
• 敵対的学習は、ベースラインの自己回帰型または変分オートエンコーダーと比較して、生成信号の知覚的品質を顕著に向上させた。
• 合成データの導入により、トレーニングセットに含まれる未代表的なカエル種においても、過学習が軽減され、一般化性能が向上した。
• 敵対的損失に基づく目的関数の設計により、より多様で時間的に整合性のある波形生成が可能になった。
• 本手法は高い転送性を示し、限られた実世界の記録でも、効果的なデータ拡張が可能であることが実証された。