[論文レビュー] You Need to Read Again: Multi-granularity Perception Network for Moment Retrieval in Videos

Xin Sun, Xuan Wang+3 more|arXiv (Cornell University)|May 25, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、動画と言語特徴の粗い粒度から細かい粒度への順次的認識を模倣することで、人間の読解戦略を再現する、動画内のmoment検出のための新規フレームワークであるMulti-granularity Perception Network (MGPN) を提案する。粗い粒度のエンコーダーと細かい粒度の特徴エンコーダー、および条件付きインタラクションモジュールを統合することで、Charades-STA、TACoS、ActivityNet Captionsの各ベンチマークでアライメント精度を向上させ、計算コストを低減した軽量な選択比較モジュールを用いることで、先行する最先端手法を上回る性能を達成している。

ABSTRACT

Moment retrieval in videos is a challenging task that aims to retrieve the most relevant video moment in an untrimmed video given a sentence description. Previous methods tend to perform self-modal learning and cross-modal interaction in a coarse manner, which neglect fine-grained clues contained in video content, query context, and their alignment. To this end, we propose a novel Multi-Granularity Perception Network (MGPN) that perceives intra-modality and inter-modality information at a multi-granularity level. Specifically, we formulate moment retrieval as a multi-choice reading comprehension task and integrate human reading strategies into our framework. A coarse-grained feature encoder and a co-attention mechanism are utilized to obtain a preliminary perception of intra-modality and inter-modality information. Then a fine-grained feature encoder and a conditioned interaction module are introduced to enhance the initial perception inspired by how humans address reading comprehension problems. Moreover, to alleviate the huge computation burden of some existing methods, we further design an efficient choice comparison module and reduce the hidden size with imperceptible quality loss. Extensive experiments on Charades-STA, TACoS, and ActivityNet Captions datasets demonstrate that our solution outperforms existing state-of-the-art methods. Codes are available at github.com/Huntersxsx/MGPN.

研究の動機と目的

• 既存の2段階型moment検出モデルが粗い粒度のモード内およびモード間認識にとどまっていること、細かい粒度の意味的詳細を無視しているという制限を解消すること。
• 人間の再読やより深い推論戦略を想起させる多選択読解問題としてのmoment検出の定式化により、アライメント精度を向上させること。
• 隠れ層サイズの最適化と軽量な選択比較モジュールの設計により、性能を損なわず計算オーバーヘッドを低減すること。
• 既存の2段階型モデルへの細粒度認識のプラグアンドプレイ統合を可能にし、より広範な適用可能性を実現すること。

提案手法

• 人間の読解戦略（再読や強化されたアライメント）を模倣する多選択読解問題としてmoment検出を定式化する。
• 初期のモード内およびモード間表現を捉えるために、粗い粒度の特徴エンコーダーと共注意力メカニズムを採用する。
• より深い推論を模倣するため、細かい粒度の特徴エンコーダーと条件付きインタラクションモジュールを導入し、表現を精緻化する。
• 隠れ層サイズを最小限に抑えつつ性能損失を最小限に抑えることで推論効率を向上させる軽量な選択比較モジュールを設計する。
• 細粒度認識段階における動画-クエリアライメントを向上させるために、マルチモーダル共注意力モジュールを適用する。
• 細粒度エンコーダーにスタックド畳み込みブロックアーキテクチャを採用し、非局所的または標準的な畳み込みブロックと比較して、より高い性能とより小さなモデルサイズを達成する。

実験結果

リサーチクエスチョン

• RQ1 多選択読解問題としてmoment検出を定式化することで、人間の再読行動を模倣し、アライメント精度を向上させられるか？
• RQ2 粗い粒度から細かい粒度への処理（粗い粒度のモード内およびモード間特徴の処理）を含む多粒度認識が、moment検出ベンチマークでより良い性能をもたらすか？
• RQ3 軽量な選択比較モジュールは、モデルサイズと推論コストを削減しつつ性能を劣化させないか？
• RQ4 細粒度自己モード符号化とクロスモーダルアライメントを、プラグインモジュールとして適用した場合、既存の2段階型モデルにどの程度向上効果をもたらすか？

主な発見

• MGPNは、Charades-STA、TACoS、ActivityNet Captionsで最先端の性能を達成し、ActivityNet CaptionsではR@1,0.5が47.92%を記録した。
• MGPN 256バージョンは、256個の隠れユニットでのみ動作し、2D-TANと比較してモデルサイズを4.8倍小さくした一方で、性能を6.4%向上させた。
• プラグアンドプレイ実験では、2D-TANおよびRaNetに細粒度認識を追加することで、R@1,0.5がそれぞれ5.77%および0.87%向上し、汎用性と有効性が実証された。
• 実験により、隠れ層サイズ256が性能と効率のバランスを最も良く保つことが確認された。より大きなサイズ（例：512）では、指数関数的なコスト増加に対して僅かな性能向上しか得られなかった。
• 細粒度認識モジュールは、視覚的に類似したmomentの検出精度を顕著に向上させた。これは、ActivityNet CaptionsおよびTACoSにおける定性的な結果から明らかになった。
• 提案されたマルチモーダル共注意力モジュールは、細かい特徴（例：「左」の手）のような微妙な手がかりのクロスモーダルアライメントを強化し、粗い粒度モデルでしばしば見過ごされる点を改善した。