[論文レビュー] Cross-Modal Retrieval: A Systematic Review of Methods and Future Directions

Tianshi Wang, Fengling Li+4 more|arXiv (Cornell University)|Aug 28, 2023

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、浅い統計的アプローチからビジョン-言語事前学習モデルまで、クロスモーダル検索の手法・ベンチマーク・将来の方向性を網羅的かつ最新の分類と系統的レビューとして提供します。また、オープンソースのコードリポジトリも公開します。

ABSTRACT

With the exponential surge in diverse multi-modal data, traditional uni-modal retrieval methods struggle to meet the needs of users seeking access to data across various modalities. To address this, cross-modal retrieval has emerged, enabling interaction across modalities, facilitating semantic matching, and leveraging complementarity and consistency between heterogeneous data. Although prior literature has reviewed the field of cross-modal retrieval, it suffers from numerous deficiencies in terms of timeliness, taxonomy, and comprehensiveness. This paper conducts a comprehensive review of cross-modal retrieval's evolution, spanning from shallow statistical analysis techniques to vision-language pre-training models. Commencing with a comprehensive taxonomy grounded in machine learning paradigms, mechanisms, and models, the paper delves deeply into the principles and architectures underpinning existing cross-modal retrieval methods. Furthermore, it offers an overview of widely-used benchmarks, metrics, and performances. Lastly, the paper probes the prospects and challenges that confront contemporary cross-modal retrieval, while engaging in a discourse on potential directions for further progress in the field. To facilitate the ongoing research on cross-modal retrieval, we develop a user-friendly toolbox and an open-source repository at https://cross-modal-retrieval.github.io.

研究の動機と目的

• クロスモーダル検索手法の系統的かつ細やかな分類を網羅的に提供する。
• 実値表現とハッシュ、監督あり/なしの設定を横断する原理とアーキテクチャを総合的に統合する。
• 広く用いられているデータセットと評価指標を整理・要約する。
• 従来手法からビジョン言語事前学習モデルへの進化を分析する。
• 課題を特定し、今後の研究の方向性を提案する。

提案手法

• データエンコード形態と監督情報に基づく、五つの大分類と四十三の小分類を提案する系統を提示する。
• 代表的手法を系統的に分析：CCA、トピックモデル、オートエンコーダ、CNN-RNN、GNN、Transformers、VLPモデル、クロスモーダル生成、知識蒸留、メモリネットワーク。
• 一般的に用いられるデータセット、評価指標、性能ベンチマークの概要を提供する。
• クロスモーダル検索における実用的シナリオと課題を論じ、今後の研究方向を概説する。
• 研究者のために https://github.com/BMC-SDNU/Cross-Modal-Retrieval にオープンソースのリポジトリを公開する。

実験結果

リサーチクエスチョン

• RQ1 監督なし/ありおよび実値/ハッシュベース設定におけるクロスモーダル検索を支える現状の手法とアーキテクチャは何か。
• RQ2 データセットと評価指標はクロスモーダル検索研究をどのように形成し、どのようなベンチマークが存在するのか。
• RQ3 Transformer/VLPの影響や実世界のシナリオを含むクロスモーダル検索の主要課題と将来の方向性は何か。
• RQ4 ビジョン言語事前学習がクロスモーダル検索の性能と方法論にどのように影響するか。

主な発見

• 著者らはクロスモーダル検索の五つのカテゴリーと四十三のサブカテゴリーを含む網羅的な分類を提案している。
• この調査は分野の進化を把握するため、200件を超えるクロスモーダル検索論文を網羅している。
• 広く使用されている多モーダルデータセット、評価指標、性能ベンチマークを整理・引用している。
• ビジョン言語事前学習モデルとTransformerベースの手法が、クロスモーダル検索の景観を大きく変えた。
• 本論文は機会、課題、および今後の研究の提案方向を論じている。
• 研究の進展を促進するためのオープンソースコードリポジトリが提供されている。