[論文レビュー] Multimodal sparse representation learning and applications

Miriam Cha, Youngjune Gwon+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 13

ひとこと要約

本稿では、複数のモダリティ（画像、テキスト、音声など）間で共有されるスパース表現を共同辞書学習とスパースコーディングを用いて同時に学習する、マルチモーダルなスパース表現学習フレームワークを提案する。共有スパース性を強制することで、感情分析やマルチメディアイベント検出、画像ノイズ除去といった多様なタスクにおける分類およびリtrieval性能が向上し、特にモダリティ間の非線形相関をモデル化する深層アーキテクチャにおいて最先端の結果を達成する。

ABSTRACT

Unsupervised methods have proven effective for discriminative tasks in a single-modality scenario. In this paper, we present a multimodal framework for learning sparse representations that can capture semantic correlation between modalities. The framework can model relationships at a higher level by forcing the shared sparse representation. In particular, we propose the use of joint dictionary learning technique for sparse coding and formulate the joint representation for concision, cross-modal representations (in case of a missing modality), and union of the cross-modal representations. Given the accelerated growth of multimodal data posted on the Web such as YouTube, Wikipedia, and Twitter, learning good multimodal features is becoming increasingly important. We show that the shared representations enabled by our framework substantially improve the classification performance under both unimodal and multimodal settings. We further show how deep architectures built on the proposed framework are effective for the case of highly nonlinear correlations between modalities. The effectiveness of our approach is demonstrated experimentally in image denoising, multimedia event detection and retrieval on the TRECVID dataset (audio-video), category classification on the Wikipedia dataset (image-text), and sentiment classification on PhotoTweet (image-text).

研究の動機と目的

• 単モダリティのスパースコーディングがクロスモダリティの意味的相関を捉えることの限界を解消すること。
• 異種モダリティ間で共有スパース表現を強制する共同学習フレームワークの開発。
• モダリティ間の補完的情報を活用することで、感情分類、イベント検出、画像ノイズ除去などのマルチモーダルタスクの性能向上。
• スパースコーディング層に基づく深層アーキテクチャを構築し、モダリティ間の非線形関係をモデル化すること。
• 現実世界のマルチモーダルデータセットにおいて、共有表現が単一モダリティ特徴の結合や連結よりも優れていることを実証すること。

提案手法

• 複数のモダリティのスパース表現を同時に学習するための共同辞書学習を用い、それらの間で共有スパース性を強制する。
• L1正則化を用いたスパースコーディングを適用し、学習された基底ベクトル（辞書アトム）のスパース線形結合としてデータを表現する。
• 3種類のマルチモーダル表現を導入：共同表現（複数モダリティに共有）、クロスモダル表現（1つのモダリティから再構築）、マルチモーダル特徴結合。
• 画像およびテキストパッチの前処理として、マックスプーリングとPCAホワイトニングを適用し、特徴スケールを一貫させる。
• 複数層のスパースコーディングおよびプーリングユニットをスタックすることで、階層的かつ非線形なモダリティ間相関をモデル化する深層アーキテクチャを構築する。
• スパースコーディングの前段階として、視覚的および言語的パッチに対して、平均除去とホワイトニングを用いた教師なし事前学習を実施し、表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 共有スパース表現が、単モダリティまたは単モダリティ結合ベースラインと比較して分類性能を向上させるか？
• RQ2 1つのモダリティが欠損している状況でも、複数モダリティの共同学習が、1つのモダリティの特徴品質をどのように向上させるか？
• RQ3 スパースコーディング層に基づく深層アーキテクチャが、非線形なマルチモーダル相関タスクの性能をどの程度向上させるか？
• RQ4 共有関係を学習しない特徴連結手法と比較して、マルチモーダルスパースコーディングは優れているか？
• RQ5 提案フレームワークは、感情分析、イベント検出、画像ノイズ除去といった多様なマルチモーダルアプリケーションに一般化可能か？

主な発見

• 深層マルチモーダルスパースコーディングモデルは、PhotoTweetの感情分類タスクで75.16%の精度を達成し、SentiStrength + SentiBankベースライン（68%）およびCBOW-DA-LR手法（79%のロジスティック回帰精度）を上回った。
• マルチモーダル特徴結合（71.95%）は、単モダリティ特徴結合（66.10%）を著しく上回り、共有表現を学習することの利点を示した。
• 共同スパースコーディング（70.29%）は、単モダリティスパースコーディング（画像：60.91%、テキスト：58.07%）を上回り、共同学習が識別性能を向上させることを示した。
• クロスモダル表現（例：画像からテキストを再構築）は66.64%の精度を達成し、1つのモダリティが他のモダリティの情報を効果的に再構築できることを示した。
• フレームワークは画像ノイズ除去およびTRECVIDマルチメディアイベント検出タスクでも性能向上を確認し、タスク間での頑健性と一般化能力を裏付けた。
• 深層アーキテクチャは一貫して浅層モデルを上回り、特に共有スパース特徴を階層的に学習することで、最高の結果（75.16%の精度）を達成した。