[論文レビュー] Snore-GANs: Improving Automatic Snore Sound Classification with Synthesized Data

Zixing Zhang, Jing Han+4 more|arXiv (Cornell University)|Mar 29, 2019

Music and Audio Processing参考文献 51被引用数 4

ひとこと要約

本稿では、自動スヌーズ音分類（ASSC）におけるデータ拡張のための半教師あり条件付き生成対抗ネットワーク、Snore-GANsを提案する。クラス固有の特徴を保持する合成スヌーズ音を生成することで、分類性能が著しく向上し、テストセットで56.7%の未加重平均再現率（UAR）を達成した。これは、エンドツーエンドの最先端モデルを上回り、SMOTEなどの従来の拡張手法よりも優れている。

ABSTRACT

One of the frontier issues that severely hamper the development of automatic snore sound classification (ASSC) associates to the lack of sufficient supervised training data. To cope with this problem, we propose a novel data augmentation approach based on semi-supervised conditional Generative Adversarial Networks (scGANs), which aims to automatically learn a mapping strategy from a random noise space to original data distribution. The proposed approach has the capability of well synthesizing 'realistic' high-dimensional data, while requiring no additional annotation process. To handle the mode collapse problem of GANs, we further introduce an ensemble strategy to enhance the diversity of the generated data. The systematic experiments conducted on a widely used Munich-Passau snore sound corpus demonstrate that the scGANs-based systems can remarkably outperform other classic data augmentation systems, and are also competitive to other recently reported systems for ASSC.

研究の動機と目的

• 深層学習モデルの性能を制限する自動スヌーズ音分類（ASSC）におけるデータ不足に対処すること。
• 人為的ラベルなしで高品質でクラス固有のスヌーズ音サンプルを生成するデータ拡張技術を開発すること。
• 多様で現実的なスヌーズ音声データの合成により、ASSCシステムのロバスト性と一般化性能を向上させること。
• 半教師あり条件付きGAN（scGAN）が、下流の分類性能を向上させるデータを生成する有効性を評価すること。
• München-Passauスヌーズ音コーパス上で、提案手法を従来のデータ拡張手法および最先端のASSCシステムと比較すること。

提案手法

• 本手法は、クラスラベルに条件づけられた半教師あり条件付きGAN（scGAN）を用いて、合成スヌーズ音サンプルを生成する。
• 生成器ネットワークは、学習セット内の実スヌーズ音の統計的分布に一致する音声サンプルを学習する。
• 識別器は、実データと生成データの両方を用いて半教師ありに訓練され、一般化性能の向上とモード崩壊の低減を図る。
• モード崩壊を軽減し、データの多様性と品質を向上させるために、scGANのアンサンブルを用いる。
• 生成データを実データと組み合わせ、SVMやGRU-RNNなどの下流分類器を訓練する。
• 複数の特徴タイプ（関数的特徴、Bag-of-Audio-Words（BoAW）、低レベル記述子（LLD））を用いてアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 半教師あり条件付きGANは、分類性能を向上させる現実的で高品質なスヌーズ音サンプルを効果的に生成できるか？
• RQ2 scGANに基づくデータ拡張は、ASSCにおける従来のデータ拡張手法（例：SMOTE）と比較してどのように異なるか？
• RQ3 scGANのアンサンブルは、モード崩壊を軽減し、生成されたスヌーズ音の多様性と品質を向上させるか？
• RQ4 提案されたデータ拡張手法は、MPSSCデータベース上で最先端のASSCシステムをどの程度上回るか？
• RQ5 生成されたデータは、異なるスヌーズ音クラス間でのモデル一般化を向上させるクラス固有の情報を提供できるか？

主な発見

• アンサンブル付きのsnore-GANsは、テストセットにおける未加重平均再現率（UAR）を56.7%に達成し、エンドツーエンドシステム[57]が達成した40.3% UARを著しく上回った。
• scGANベースの手法は、関数的特徴、BoAW、LLDのすべての特徴タイプで性能向上を示し、ロバスト性と一般化性能を確認した。
• 従来のデータ拡張手法（例：SMOTE）よりも優れており、学習セットでの事前のアップサンプリングの影響により、SMOTEはベースラインに比べて僅かな向上にとどまった。
• scGANのアンサンブルは、モード崩壊を効果的に軽減し、単一のGANよりも品質が高く多様性に富んだ合成データを生成した。
• 最も優れた設定（LLDとGRU-RNN、scGANベースのデータ拡張を組み合わせたもの）は、テストUARが54.4%（標準偏差±3.8%）を記録し、高い一貫性を示した。
• 結果から、scGANによるデータ拡張が、特にデータが少ない状況下で、意味のあるクラス固有の情報を提供し、モデル性能を向上させることを確認した。