[論文レビュー] Learning Audio-Visual Representations with Active Contrastive Coding

Shuang Ma, Zhaoyang Zeng+2 more|arXiv (Cornell University)|Aug 31, 2020

Speech and Audio Processing被引用数 7

ひとこと要約

本論文は、自己教師付き音声視覚表現学習を向上させるために、多様で情報量の多いネガティブサンプルの辞書をアクティブサンプリングによって構築する、アクティブコントラストコーディングを提案する。ネガティブサンプルの重複を低減することで、特に動画分類のような高相互情報量のシナリオにおいて、UCF101、HMDB51、ESC50ベンチマークで最先端の性能を達成する。

ABSTRACT

Contrastive coding has achieved promising results in self-supervised representation learning. However, there are practical challenges given that obtaining a tight lower bound on mutual information (MI) requires a sample size exponential in MI and thus a large set of negative samples. We can incorporate more samples by building a large queue-based dictionary, but there are theoretical limits to performance improvements even with a large number of negative samples. We hypothesize that 'random negative sampling' leads to a highly redundant dictionary, which could result in representations that are suboptimal for downstream tasks. In this paper, we propose an active contrastive coding approach that builds an 'actively sampled' dictionary with diverse and informative items, which improves the quality of negative samples and achieves substantially improved results on tasks where there is high mutual information in the data, e.g., video classification. Our model achieves state-of-the-art performance on multiple challenging audio and visual downstream benchmarks including UCF101, HMDB51 and ESC50.

研究の動機と目的

• 大規模な辞書におけるネガティブサンプルの重複が原因で自己教師付きコントラスト学習の性能が最適でない問題に対処すること。
• 動画や音声シーケンスのような高相互情報量データにおける相互情報推定と表現品質の向上。
• ランダムサンプリングに依存するのではなく、情報量の多いネガティブサンプルを能動的に選択する手法の開発。
• UCF101、HMDB51、ESC50を含む困難な音声視覚ベンチマークで最先端の結果を達成すること。
• 大規模なネガティブサンプルキューにおける重複を低減することで、辞書サイズを増大させても性能向上が制限されるのを防ぐこと。

提案手法

• 本手法は、ランダムサンプリングではなく、情報量と多様性に基づいてネガティブサンプルを選択するアクティブサンプリング戦略を導入する。
• コントラスト学習への貢献度に基づいて、動的に更新されるネガティブサンプルの辞書を維持する。
• コントラスト損失最適化に寄与するあまり重複しない、より情報量の多いサンプルを優先する多様性を考慮した選択基準を採用する。
• トレーニング中にネガティブペアの品質を向上させるために、アクティブサンプリングをメモリバンクに統合する。
• コアのコントラスト目的関数やバックボーンアーキテクチャを変更せずに、コントラスト学習フレームワークにアクティブサンプリングを統合する。
• 既存の自己教師付き学習フレームワークと互換性があり、大規模データセットに効率的にスケーリング可能である。

実験結果

リサーチクエスチョン

• RQ1 アクティブサンプリングによるネガティブサンプルの選択は、音声視覚学習における自己教師付き表現の質を向上させることができるか？
• RQ2 ネガティブサンプル辞書内の重複を低減することで、下流タスクの性能が向上するか？
• RQ3 表現品質および下流タスクの精度という観点から、アクティブコントラストコーディングはランダムネガティブサンプリングに比べて優れているか？
• RQ4 アクティブサンプリングは、動画や音声シーケンスのような高相互情報量データにおいて、どの程度性能を向上させるか？
• RQ5 アクティブコントラストコーディングは、UCF101、HMDB51、ESC50のような標準的な音声視覚ベンチマークで最先端の結果を達成できるか？

主な発見

• 提案されたアクティブコントラストコーディング手法は、UCF101のアクション認識ベンチマークで最先端の性能を達成した。
• 類似度の高いクラス間距離を有する困難なアクション認識データセットであるHMDB51でも性能が向上した。
• 挑戦的な音声視覚サウンド分類ベンチマークであるESC50でも強力な結果を達成した。
• ネガティブサンプル辞書内の重複を低減することで、大規模な辞書サイズであってもランダムサンプリングより優れた表現品質を達成した。
• アクティブサンプリング戦略により、より情報量の多いネガティブペアが得られ、相互情報推定と下流タスクの一般化性能が向上した。
• 特に高相互情報量のシナリオにおいて、複数の音声視覚ベンチマークで一貫した改善が見られた。