[論文レビュー] Scientific and Technological Information Oriented Semantics-adversarial and Media-adversarial Cross-media Retrieval

Ang Li, Junping Du+5 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Image and Video Retrieval Techniques被引用数 13

ひとこと要約

本稿では、意味的整合性とメディア不変表現学習を意味的対抗的およびメディア対抗的訓練を通じて向上させる、科学技術情報向けの新規クロスメディア検索フレームワークSMCRを提案する。相互メディア間の意味的整合性と内側意味的メディア識別を同時に最適化することで、2つのベンチマークデータセットにおいて最先端手法を上回り、テキストから画像への検索および画像からテキストへの検索タスクで優れたmAPスコアを達成する。

ABSTRACT

Cross-media retrieval of scientific and technological information is one of the important tasks in the cross-media study. Cross-media scientific and technological information retrieval obtain target information from massive multi-source and heterogeneous scientific and technological resources, which helps to design applications that meet users' needs, including scientific and technological information recommendation, personalized scientific and technological information retrieval, etc. The core of cross-media retrieval is to learn a common subspace, so that data from different media can be directly compared with each other after being mapped into this subspace. In subspace learning, existing methods often focus on modeling the discrimination of intra-media data and the invariance of inter-media data after mapping; however, they ignore the semantic consistency of inter-media data before and after mapping and media discrimination of intra-semantics data, which limit the result of cross-media retrieval. In light of this, we propose a scientific and technological information oriented Semantics-adversarial and Media-adversarial Cross-media Retrieval method (SMCR) to find an effective common subspace. Specifically, SMCR minimizes the loss of inter-media semantic consistency in addition to modeling intra-media semantic discrimination, to preserve semantic similarity before and after mapping. Furthermore, SMCR constructs a basic feature mapping network and a refined feature mapping network to jointly minimize the media discriminative loss within semantics, so as to enhance the feature mapping network's ability to confuse the media discriminant network. Experimental results on two datasets demonstrate that the proposed SMCR outperforms state-of-the-art methods in cross-media retrieval.

研究の動機と目的

• 既存のクロスメディア検索手法がメディア間の意味的整合性と意味内でのメディア識別を無視するという限界に対処すること。
• マッピング後の共有部分空間において、相互メディアデータが意味的類似性を保持するように、共通の意味的空間を学習することで検索性能を向上させること。
• メディア内識別損失と意味内メディア識別損失を同時に最小化することで、特徴表現を向上させること。
• 科学的・技術的情報検索にとどまらず、一般のクロスメディアタスクに対しても効果的で、汎用性の高いモデルを開発すること。

提案手法

• SMCRは、主に2つのネットワークからなるミニマックス対抗的フレームワークを採用する：特徴マッピングネットワークとメディア識別ネットワーク。
• 特徴マッピングネットワークは、メディア内において判別可能で、メディア間で一貫性があり、意味内においても判別可能となる表現を学習する。
• 相互メディア間意味的整合性損失（$L_{imi}$）は、ペアドクロスメディアサンプル（例：画像-テキスト）が共有部分空間にマッピングされた後でも、意味的類似性が保持されることを保証する。
• 意味内メディア識別損失（$L_{con}$）は、同じモダリティからの意味的に類似したサンプルが共有空間内で近接するようにモデルを促進するとともに、メディア識別器に混乱を引き起こすようにする。
• 総合損失は、埋め込み損失（$L_{emb}$）、メディア内識別損失（$L_{imd}$）、相互メディア整合性損失（$L_{imi}$）、意味内識別損失（$L_{con}$）を組み合わせており、ハイパーパrameter $\alpha$ と $\beta$ がそれぞれの寄与度を制御する。
• 勾配降下法を用いてエンドツーエンドでモデルを訓練し、特徴マッピングネットワークは意味の正確性と不変性を最適化する一方、メディア識別器はメディアタイプを区別するように訓練される。

実験結果

リサーチクエスチョン

• RQ1 相互メディア間意味的整合性損失の導入がクロスメディア検索性能に与える影響はいかほどか？
• RQ2 意味内メディア識別損失が特徴表現および検索精度をどの程度向上させるか？
• RQ3 SMCRモデルは、損失寄与度を制御するハイパーパrameter（$\alpha$ と $\beta$）の設定に対してどの程度感受性を示すか？
• RQ4 SMCRは科学的・技術的情報検索にとどまらず、一般のクロスメディアタスクに対しても汎用性を示すか？
• RQ5 さまざまな検索指標のもとで、SMCRは最先端手法を上回る性能を示せるか？

主な発見

• SMCRは、Wikipediaデータセットにおいてテキストから画像への検索タスクでmAP 0.7014、画像からテキストへの検索タスクでmAP 0.5059を達成し、平均mAPは0.6036であった。
• 相互メディア整合性損失（$L_{imi}$）を含まないSMCRの変種は平均mAP 0.5951にとどまり、$L_{imi}$が性能向上に顕著に寄与していることが示された。
• 意味内識別損失（$L_{con}$）を含まないSMCRの変種は平均mAP 0.5922を記録し、$L_{con}$が特徴識別を強化する上で重要であることが確認された。
• SMCRはハイパーパrameterの変更に対して頑健であり、テキストから画像への検索では $\alpha=0.1, \beta=0.1$、画像からテキストへの検索では $\alpha=1, \beta=1$ で最適性能が達成された。
• モデルはSciTechDailyおよびWikipediaの両データセットで強く性能を維持しており、ドメイン特化データにとどまらず汎用性があることが示された。
• アブレーションスタディの結果、$L_{imi}$ と $L_{con}$ を同時に最適化することで、それぞれを別々に最適化するよりも優れた結果が得られ、両者の補完的役割が確認された。