[論文レビュー] Weakly-Supervised Video Moment Retrieval via Semantic Completion Network

Zhijie Lin, Zhou Zhao+3 more|arXiv (Cornell University)|Nov 19, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 17

ひとこと要約

本論文は、時間的境界ラベルの代わりにビデオレベルのアノテーションのみを必要とする弱教師付きビデオモーメント検索フレームワークを提案する。文脈に配慮したプロポーザル生成モジュール、トップ-Kプロポーザル選択のための効用・探索戦略、およびキーワードをマスキングして再構成損失と報酬フィードバックを用いてプロポーザルスコアを精緻化するセマンティックコンプリートネットワーク（SCN）を導入し、完全な教師信号なしでActivityCaptionsおよびCharades-STAで最先端の性能を達成した。

ABSTRACT

Video moment retrieval is to search the moment that is most relevant to the given natural language query. Existing methods are mostly trained in a fully-supervised setting, which requires the full annotations of temporal boundary for each query. However, manually labeling the annotations is actually time-consuming and expensive. In this paper, we propose a novel weakly-supervised moment retrieval framework requiring only coarse video-level annotations for training. Specifically, we devise a proposal generation module that aggregates the context information to generate and score all candidate proposals in one single pass. We then devise an algorithm that considers both exploitation and exploration to select top-K proposals. Next, we build a semantic completion module to measure the semantic similarity between the selected proposals and query, compute reward and provide feedbacks to the proposal generation module for scoring refinement. Experiments on the ActivityCaptions and Charades-STA demonstrate the effectiveness of our proposed method.

研究の動機と目的

• ビデオモーメント検索のための正確な時間的境界のラベル付けにかかる高コストと困難さに対処すること。
• キャプションなど粗いビデオレベルのアノテーションのみを用いて効果的に学習できる弱教師付き手法を開発すること。
• クロスモodalな文脈とセマンティック類似度推定を活用して、プロポーザル生成とスコアリングを改善すること。
• セマンティックコンプリートと報酬ベースの学習を用いたフィードバックループにより、プロポーザルの信頼性スコアを精緻化すること。

提案手法

• ビデオとクエリのクロスモーダル統合表現を用いて、一度のパスで全候補プロポーザルのスコアを算出するプロポーザル生成モジュール。
• 効用・探索アルゴリズムによりトップ-Kプロポーザルを選択：高い信頼性を持つプロポーザルはNMSで選択され、残りは確率を徐々に低下させながらランダムに選択され、探索を促進する。
• クエリ内の重要な語（例：名詞、動詞）をマスキングし、各プロポーザルからの視覚的文脈を用いて再構成するセマンティックコンプリートモジュール。再構成損失を用いてセマンティック類似度を測定する。
• 再構成損失により各プロポーザルに対する報酬を計算し、順位損失を用いてそれらをプロポーザル生成モジュールにフィードバックし、より良いマッチングのプロポーザルに高いスコアを与えるよう学習を促進する。
• プロポーザル生成モジュールとセマンティックコンプリートモジュール間でパラメータ共有を適用し、知識の転送を強化し、モデルサイズを削減する。
• 順位損失と再構成損失を組み合わせたマルチタスク学習目的関数により、プロポーザルスコアリングとセマンティック整合性を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きフレームワークは、ビデオレベルのアノテーションのみを用いて、競争力のあるビデオモーメント検索性能を達成できるか？
• RQ2 プロポーザル選択における効用・探索戦略は、グリーディ選択と比較してモデルの収束性と性能を向上させるか？
• RQ3 視覚的文脈を用いてクエリをマスキングしてコンプリートすることで、セマンティック類似度を効果的に推定し、プロポーザルスコアリングをガイドできるか？
• RQ4 再構成損失と報酬を用いたセマンティックコンプリートからのフィードバックは、プロポーザル信頼性スコアの正確性を向上させるか？

主な発見

• 提案されたSCN手法は、ActivityCaptionsおよびCharades-STAの両ベンチマークで最先端の性能を達成し、既存の弱教師付き手法、さらには一部の完全教師付き手法をも上回った。
• ランダム選択を排除したSCN(w/o. rand)は収束が遅く、性能も低かったため、初期学習段階での探索の有効性が裏付けられた。
• 報酬フィードバックを含むSCN(full)は、報酬なしのSCN(w/o. reward)よりも収束が早く、より良い結果を達成した。これにより、報酬ベースのフィードバックループの有効性が示された。
• マスキングなしのSCN(w/o. mask)は、完全モデルより性能が劣った。これにより、マスキングされたクエリ再構成が、正確なセマンティック類似度推定に不可欠であることが証明された。
• パラメータ共有なしのSCN(w/o. share)はわずかに性能が劣り、パラメータ数も増加した。これにより、パラメータ共有が知識転送と効率性を向上させることの有効性が確認された。
• 定性的な結果から、信頼性スコアが高い上位プロポーザルが正解とよく一致しており、再構成損失が低いほどIoUが高くなる傾向があることが確認された。これにより、セマンティック整合性メカニズムの有効性が妥当性を保証した。