[論文レビュー] Vision-based Detection of Acoustic Timed Events: a Case Study on Clarinet Note Onsets

Alessio Bazzica, Jan van Gemert+2 more|arXiv (Cornell University)|Jun 29, 2017

Music and Audio Processing参考文献 11被引用数 9

ひとこと要約

本論文は、口元、両手、クラリネットの先端の注目領域に焦点を当てた複数の空間ストリームを備えた3次元畳み込みニューラルネットワークを用いて、ビデオベースのアコースティックノートオノセット検出を提案する。平均F1スコアは25.7%にとどまり、音声のみの最先端手法（93.2%）と比べて著しく低い。これは、視覚的オノセット検出の難易度と、より優れた最適化およびモデリング戦略の必要性を浮き彫りにする。

ABSTRACT

Acoustic events often have a visual counterpart. Knowledge of visual information can aid the understanding of complex auditory scenes, even when only a stereo mixdown is available in the audio domain, \eg identifying which musicians are playing in large musical ensembles. In this paper, we consider a vision-based approach to note onset detection. As a case study we focus on challenging, real-world clarinetist videos and carry out preliminary experiments on a 3D convolutional neural network based on multiple streams and purposely avoiding temporal pooling. We release an audiovisual dataset with 4.5 hours of clarinetist videos together with cleaned annotations which include about 36,000 onsets and the coordinates for a number of salient points and regions of interest. By performing several training trials on our dataset, we learned that the problem is challenging. We found that the CNN model is highly sensitive to the optimization algorithm and hyper-parameters, and that treating the problem as binary classification may prevent the joint optimization of precision and recall. To encourage further research, we publicly share our dataset, annotations and all models and detail which issues we came across during our preliminary experiments.

研究の動機と目的

• 音声のみの手法がソースの混合により失敗する複雑なマルチインstrument音声シーンにおいて、アコースティックノートオノセットを検出する課題に対処すること。
• クラリニストの吹き方、指使い、エムボチャージの動きなどの視覚的手がかりが、ノートオノセットを信頼性高く示すかどうかを調査すること。
• 音声信号に依存せず、異なるミュージシャンや演奏スタイルに一般化可能なビデオベースのモデルを開発すること。
• 研究用に、36,000件のオノセットと4つの注目領域（ROIs）を備えた、完全にアノテート済みの新規音声映像データセット（C4S）を公開すること。
• トレーニングにおける主な課題、特に最適化の感度と精度・再現率のトレードオフを特定すること。

提案手法

• 口元、左手、右手、クラリネット先端の4つの注目領域を対象とした、時間方向プーリングを含まない3次元畳み込みニューラルネットワークアーキテクチャを提案。
• クラスの不均衡（オノセット対非オノセットサンプル）を処理するため、重み付き交差エントロピー損失関数を採用。近接オノセットサンプルには（0.75, 0.25）のソフトラベルを割り当てる。
• ミニバッチ学習（1バッチ24サンプル）を用い、RMSprop最適化法を適用。バッチ内では非オノセット50%、オノセット25%、近接オノセット25%のバランスをとる。
• ROIsのランダムクロッピングを用いたデータオーグメンテーションにより、トレーニングの多様性とロバスト性を向上。
• 異なるクラリニスト間での一般化を評価するため、1人を除いた交差検証（9分割）を採用。
• 過学習を防ぎ、最適なモデルチェックポイントを選択するため、検証Fスコアと損失に基づいた早期停止を実装。

実験結果

リサーチクエスチョン

• RQ1 吹き方、キーの押さえ方、エムボチャージの変化といったクラリニストの視覚的手がかりは、音声なしでノートオノセットを信頼性高く検出できるか？
• RQ2 同じタスクにおいて、ビデオベースのオノセット検出モデルの性能は、最先端の音声のみの検出器と比べてどうか？
• RQ3 特に最適化の安定性とハイパーパrameterの感度に関して、視覚的オノセット検出用の深層学習モデルをトレーニングする上での主な課題は何か？
• RQ4 視覚的オノセット検出における精度と再現率はどの程度相関し合うか？また、代替の損失関数の導入によって、両方の指標の共同最適化を改善できるか？
• RQ5 演奏スタイルや外見の違いがあるにもかかわらず、ビデオベースのモデルはどの程度異なるミュージシャンに一般化可能か？

主な発見

• 提案されたビデオベースのモデルは、50 msの時間的許容誤差を想定した場合、平均F1スコア25.7%を達成した。これは音声のみの最先端手法（CNNベースのオノセット検出で93.2%）と比べて著しく低い。
• モデルは最適化アルゴリズム、ハイパーパrameter、およびランダム初期化に非常に敏感であり、異なるミュージシャン間でトレーニングのダイナミクスが顕著に異なることが判明した。
• トレーニング中、精度と再現率はしばしば負の相関関係を示し、現在の二値分類設定では両方の指標を同時に最適化することが困難であることが示された。
• 初期のトレーニング実行では勾配消失やニューロンの不活性化が観察されたが、適切なハイパーパrameterチューニングと損失の重み付けによりのみこれを是正できた。
• 一部のトレーニング実行ではF1スコアが初期値を向上させることができず、特定の分割でモデルの崩壊や収束不良が生じた可能性があり、不適切な初期化やデータ分布のズレが原因である可能性が示唆された。
• 4.5時間分の動画、36,000件のアノテート済みオノセット、4つのROIsを備えたC4Sデータセットの公開により、視覚的オノセット検出およびポーズ推定や動き分析などの関連タスクの今後の研究基盤が整った。