[論文レビュー] AENet: Learning Deep Audio Features for Video Analysis

Naoya Takahashi, Michael Gygli+1 more|arXiv (Cornell University)|Jan 3, 2017

Music and Audio Processing参考文献 8被引用数 5

ひとこと要約

本稿では、生の音声からエンドツーエンドで音声イベント特徴を学習するための、広い時間的受容 field を持つ深層畳み込みニューラルネットワーク AENet を提案する。新しいデータ拡張技術を活用し、大規模かつ多様な音声イベントデータセットで訓練することで、音声イベント検出で前人最高の 16% の性能向上を達成し、視覚特徴と統合した場合、動画ハイライト検出でも 8% 以上の向上を示し、動画分析タスクへの高い汎化性と転移性を示している。

ABSTRACT

We propose a new deep network for audio event recognition, called AENet. In contrast to speech, sounds coming from audio events may be produced by a wide variety of sources. Furthermore, distinguishing them often requires analyzing an extended time period due to the lack of clear sub-word units that are present in speech. In order to incorporate this long-time frequency structure of audio events, we introduce a convolutional neural network (CNN) operating on a large temporal input. In contrast to previous works this allows us to train an audio event detection system end-to-end. The combination of our network architecture and a novel data augmentation outperforms previous methods for audio event detection by 16%. Furthermore, we perform transfer learning and show that our model learnt generic audio features, similar to the way CNNs learn generic features on vision tasks. In video analysis, combining visual features and traditional audio features such as MFCC typically only leads to marginal improvements. Instead, combining visual features with our AENet features, which can be computed efficiently on a GPU, leads to significant performance improvements on action recognition and video highlight detection. In video highlight detection, our audio features improve the performance by more than 8% over visual features alone.

研究の動機と目的

• 音声を超えた長時間の時間的構造を捉えることのできる汎用的で判別力のある音声特徴が、動画分析において不足しているという問題に取り組む。
• 秒単位の長時間の音声イベントをエンドツーエンドでモデル化でき、時間的順序を保持できる深層 CNN アーキテクチャを開発する。
• 汎用的音声表現の学習に適した大規模かつ多様な音声イベントデータセットを構築する。
• 視覚特徴と学習した音声特徴を統合することで、行動認識やハイライト検出を含む動画分析の性能を向上させる。
• AENet で学習した音声特徴が、視覚分野における転移学習と同様に、さまざまな動画分析タスクにうまく汎用できることを示す。

提案手法

• AENet は最大 9 層の深層 CNN を採用し、広い入力フィールドを有することで、長時間の音声イベントをモデル化し、長時間のセグメントに対するエンドツーエンド学習を可能にする。
• 小さなフィルタと深層アーキテクチャを用いることで、秒単位の音声において微細なスペクトル的・時間的パターンを捉える。
• 一般化性能の向上と過学習の低減を図るため、新しいデータ拡張手法を導入する。特に、限られた訓練データ下での効果が顕著である。
• AENet の最終畳み込み層から抽出した音声特徴を、下流の動画タスク用の汎用表現として用いる。
• 動画分析では、AENet の特徴と C3D 視覚特徴をラテナル融合により統合し、性能を向上させる。
• ノイズが多い弱教師ありラベル付きデータ下での学習最適化を図るため、ランク付け損失、ハッブル損失、複数インスタンスランク損失（MIRank）といった複数の損失関数を評価する。

実験結果

リサーチクエスチョン

• RQ1 広い時間的受容 field を持つ深層 CNN は、動画分析のための判別力のある音声イベント特徴を生の音声から効果的に学習できるか？
• RQ2 データ拡張は、音声イベント認識モデルの一般化性能と性能にどのように影響を与えるか？
• RQ3 AENet 特徴は、従来の音声特徴や視覚特徴のみの場合に比べて、動画ハイライト検出にどの程度向上をもたらすか？
• RQ4 AENet で学習した音声特徴は、音声イベント検出を越えた下流の動画タスクにも、どれほどうまく汎用できるか？
• RQ5 ノイズが多い弱教師ありラベル付きデータ下での音声イベント認識モデルの学習に最適な損失関数は何か？

主な発見

• AENet は、前人最高の手法に比べて音声イベント検出性能で相対的に 16% の向上を達成し、優れた特徴学習能力を示している。
• MIRank 損失関数を用いることで、ハイライト検出タスクで最高の mAP 56.6% を達成し、他の損失関数を上回った。
• AENet 特徴と C3D 視覚特徴を統合することで、視覚特徴のみの場合に比べて、平均で 8.6% のハイライト検出性能向上を達成した。
• 定性的な結果から、AENet 特徴は足音やジャンプの衝撃音といった顕著な音声の手がかりを効果的に捉えており、ハイライトの局所化精度が向上していることが示された。
• モデルの汎用性が高く、AENet 特徴は行動認識やハイライト検出の両方のタスクで性能向上をもたらし、動画分析タスク全体にわたる転移性を示している。
• 提案されたデータ拡張手法は、特にデータが少ない状況下で顕著に性能向上をもたらし、モデルのロバスト性を高めている。