[論文レビュー] Multimodal Sparse Coding for Event Detection

Youngjune Gwon, William M. Campbell+4 more|arXiv (Cornell University)|May 17, 2016

Advanced Data Compression Techniques参考文献 10被引用数 7

ひとこと要約

本稿では、マルチメディアイベント検出（MED）における音声と映像の間で共有され、頑健な特徴表現を学ぶために、マルチモーダルスパースコーディングを提案する。音声と映像のモダリティ上でスパースコーディング辞書を共同で訓練することで、TRECVID MED 2014 データセット上で分類精度と平均平均精度（mAP）が向上し、単モダリティおよび他のマルチモーダルベースラインを上回る結果を得た。10Ex/100Exの評価設定では、74%の精度と33.2%のmAPを達成した。

ABSTRACT

Unsupervised feature learning methods have proven effective for classification tasks based on a single modality. We present multimodal sparse coding for learning feature representations shared across multiple modalities. The shared representations are applied to multimedia event detection (MED) and evaluated in comparison to unimodal counterparts, as well as other feature learning methods such as GMM supervectors and sparse RBM. We report the cross-validated classification accuracy and mean average precision of the MED system trained on features learned from our unimodal and multimodal settings for a subset of the TRECVID MED 2014 dataset.

研究の動機と目的

• 音声と映像の補完的信号を活用することで、時間的・空間的に局所化された複雑なイベントを検出する課題に対処すること。
• 音声と映像を共有スパースコーディングを通じて共同でモデリングすることで、特徴表現学習を向上させ、頑健性とモダリティ間整合性を強化すること。
• 標準的なMEDベンチマーク上で、GMM supervectors やスパースRBM といった他の特徴学習手法と比較して、マルチモーダルスパースコーディングの有効性を評価すること。
• 音声と映像の間で共有されるスパース表現を学習することで、限られたデータ（例：1イベントあたり10例）でトレーニングした場合に一般化性能が向上することを示すこと。

提案手法

• MFCC（48次元）とVGG-19 CNN活性化（PCAホワイトニング後128次元）を用いて、キーフレームおよび対応する5秒間の音声クリップから特徴量を抽出する。
• 低レベル特徴量は、エネルギーを正規化し次元削減を行うためにTF-AGCおよびPCAホワイトニングを事前処理として適用し、スパースコーディングの前処理を行う。
• 単モダリティスパースコーディングは、音声と映像それぞれのための別々の辞書を学習し、L1正則化による再構成誤差の最小化によりスパarsityを強制する。
• マルチモーダルスパースコーディングは、音声と映像の両方を統合的に扱う1つの辞書を共同で訓練し、モダリティ間相関を捉えた共有スパース表現を可能にする。
• 各モダリティからのスパースコードは、キーフレーム全体にわたってmaxプーリングされ、分類用のファイルレベル記述子を形成する。
• プールド特徴量上で線形1対すべてSVMを訓練し、10Exサブセット上で5分割交差検証を用いてハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 音声と映像の両方を共同で扱うマルチモーダルスパースコーディングは、単モダリティまたは統合された単モダリティ特徴学習と比較して、マルチメディアイベント検出性能を向上させることができるか？
• RQ2 GMM supervectors やスパースRBM といった他の教師なし特徴学習手法と比較して、マルチモーダルスパースコーディングはMEDタスクでどのように性能を発揮するか？
• RQ3 音声と映像の間で共有されるスパース表現を学習することで、限られたデータ（例：1イベントあたり10例）でトレーニングした場合に、一般化性能が向上するか？
• RQ4 特徴次元数と統合戦略（ユニオン対共同）がMEDの精度とmAPに与える影響は何か？

主な発見

• マルチモーダル共同スパースコーディングは、10Ex交差検証で91%の分類精度と37.9%のmAPを達成し、単モダリティおよびユニオンベースのアプローチを上回った。
• 10Ex/100Ex一般化テストでは、共同マルチモーダルスパースコーディング法が74%の精度と33.2%のmAPを達成し、GMMおよびRBMベースラインを顕著に上回った。
• スパースコーディングはGMMと比較してmAPを7–8ポイント、精度を5–6ポイント向上させ、MEDにおける特徴学習の優位性を示した。
• 単モダリティスパースコードのユニオン（1,024次元）は、共同マルチモーダルコード（512次元）よりも優れた性能を示したが、特徴次元数が2倍に増加した代償があった。
• RBMの性能はスパースコーディングと同等であり、今後の方向性として、RBMベースの共同マルチモーダル学習の可能性が示唆された。
• ビデオのみの単モダリティスパースコーディングは、交差検証で86%の精度と28.1%のmAPを達成し、強力な視覚表現学習能力を示した。