[論文レビュー] Deep Co-Clustering for Unsupervised Audiovisual Learning.

Di Hu, Feiping Nie+1 more|arXiv (Cornell University)|Jul 9, 2018

Speech and Audio Processing参考文献 33被引用数 7

ひとこと要約

本稿では、音声と映像のマルチモーダル特徴を共有表現空間で同時にクラスタリングする、最大マージン損失を用いたエンド・ト・エンド学習が可能な教師なし音声視覚学習モデルであるDeep Co-Clustering (DCC) を提案する。DCCは音声視覚理解、音源局所化、マルチソース検出において最先端の性能を達成し、学習された表現に対する分類器は人間水準を超える性能を示す。

ABSTRACT

The seen birds twitter, the running cars accompany with noise, people talks by face-to-face, etc. These naturally audiovisual correspondences provide the possibilities to explore and understand the outside world. However, the mixed multiple objects and sounds make it intractable to perform efficient matching in the unconstrained environment. To settle this problem, we propose to adequately excavate audio and visual components and perform elaborate correspondence learning among them. Concretely, a novel unsupervised audiovisual learning model is proposed, named as Deep Co-Clustering (DCC), that synchronously performs sets of clustering with multimodal vectors of convolutional maps in different shared spaces for capturing multiple audiovisual correspondences. And such integrated multimodal clustering network can be effectively trained with max-margin loss in the end-to-end fashion. Amounts of experiments in feature evaluation and audiovisual tasks are performed. The results demonstrate that DCC can learn effective unimodal representation, with which the classifier can even outperform human. Further, DCC shows noticeable performance in the task of sound localization, multisource detection, and audiovisual understanding.

研究の動機と目的

• 複数の重複する物体や音源が存在する制約のない環境において、意味的な音声視覚対応関係を学習する課題に対処すること。
• 共有表現空間において、音声と視覚特徴を同時にクラスタリングする統合フレームワークを構築すること。
• より優れた対応関係学習を実現するため、エンド・ト・エンド学習に最大マージン損失を用いたマルチモーダルクラスタリングの訓練を可能にすること。
• 学習された表現の下流タスクにおける有効性を、単モーダルおよびマルチモーダルタスクの両方で評価すること。
• DCCによる教師なし表現学習が、人間がラベルを付与したデータを一切使用せずに分類タスクで人間水準を超える性能を達成できることを示すこと。

提案手法

• 音声と映像ストリームからのマルチモーダル畳み込み特徴マップを処理する共同クラスタリングフレームワークであるDeep Co-Clustering (DCC) を提案する。
• 時間的・空間的要因を考慮した複数の音声視覚対応関係を捉えるために、共有表現空間で同時にクラスタリングを実行する。
• エンド・ト・エンド学習中にクラスタリング割り当てを最適化するため、最大マージン損失を採用し、音声視覚ペアの明確な分離を促進する。
• 共有埋め込み空間を用いて音声と視覚特徴をアライメントさせ、教師なしで共同表現学習を可能にする。
• 個々のフレームではなく、特徴マップの集合に対してクラスタリングを適用することで、時間的・空間的文脈を捉える。
• 最大マージン損失を用いたバックプロパゲーションにより、ネットワーク全体をエンド・ト・エンドで訓練し、クラスタリング割り当てを最適化する。

実験結果

リサーチクエスチョン

• RQ1 教師なし音声視覚学習は、現実的で制約のない環境において、複数の音声視覚対応関係を効果的に捉えることができるか？
• RQ2 音声と視覚特徴の共同クラスタリングは、単モーダルまたは弱教師あり手法と比較して、表現品質をどの程度向上させられるか？
• RQ3 提案されたDCCフレームワークは、音源局所化やマルチソース検出などの下流音声視覚タスクで優れた性能を達成するか？
• RQ4 DCCから学習された表現は、人間がラベルを付与したデータを一切使用せずに、分類タスクで人間水準を超える性能を達成できるか？
• RQ5 最大マージン損失は、音声と視覚モダリティのより良いアライメントを実現するためのクラスタリングプロセスをどの程度効果的にガイドするか？

主な発見

• DCCは、下流分類タスクにおいて人間水準を超える性能を示す、非常に効果的な単モーダル表現を学習する。
• 音源局所化タスクにおいて顕著な性能向上を達成し、複数の音源に対して高いロバスト性を示す。
• DCCはマルチソース検出において優れた性能を示し、複数の同時発生する音声視覚イベントを効果的に特定・分離できる。
• 最大マージン損失を用いて訓練された統合マルチモーダルクラスタリングネットワークは、音声視覚理解タスクで最先端の結果を達成する。
• 共有空間における音声と視覚特徴の共同クラスタリングにより、ベースライン手法と比較してより正確で一貫性のある対応関係学習が可能になる。