[論文レビュー] Constraint and Union for Partially-Supervised Temporal Sentence Grounding

Chen Ju, Haicheng Wang+6 more|arXiv (Cornell University)|Feb 20, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿は、注釈コストを低減しつつ高い性能を維持するため、短時間クリップまたは単一フレームのラベルを用いた部分的教師あり時系列文グラウディング（PTSG）設定を導入する。マルチモodal表現学習のための4重制約パイプラインと、偽ラベルを介して部分的および完全な教師ありを統合する部分的・完全統合（PFU）フレームワークを提案し、Charades-STAおよびActivityNet Captionsで最先端の結果を達成した。

ABSTRACT

Temporal sentence grounding aims to detect the event timestamps described by the natural language query from given untrimmed videos. The existing fully-supervised setting achieves great performance but requires expensive annotation costs; while the weakly-supervised setting adopts cheap labels but performs poorly. To pursue high performance with less annotation cost, this paper introduces an intermediate partially-supervised setting, i.e., only short-clip or even single-frame labels are available during training. To take full advantage of partial labels, we propose a novel quadruple constraint pipeline to comprehensively shape event-query aligned representations, covering intra- and inter-samples, uni- and multi-modalities. The former raises intra-cluster compactness and inter-cluster separability; while the latter enables event-background separation and event-query gather. To achieve more powerful performance with explicit grounding optimization, we further introduce a partial-full union framework, i.e., bridging with an additional fully-supervised branch, to enjoy its impressive grounding bonus, and be robust to partial annotations. Extensive experiments and ablations on Charades-STA and ActivityNet Captions demonstrate the significance of partial supervision and our superior performance.

研究の動機と目的

• 完全教師あり時系列文グラウディング（FTSG）の高い注釈コストを低減しつつ、弱教師あり手法を上回る性能を向上させること。
• 1クエリあたり短時間クリップまたは単一フレームのラベルのみが利用可能な、新規の部分的教師あり設定（PTSG）を提案し、コストと性能のバランスをとること。
• サンプル内およびサンプル間、単一モーダルおよびマルチモーダルの制約を用いて、マルチモーダル表現学習を強化する4重制約パイプラインを設計すること。
• 完全教師ありブランチを活用して偽ラベルを生成・精緻化し、グラウディングのロバスト性を向上させる部分的・完全統合（PFU）フレームワークを開発すること。
• 多様なラベル分布および異なるデータセットにおいて、部分的教師あり学習と提案フレームワークの有効性を実証すること。

提案手法

• 部分的ラベルから導出されたイベントマスクを用いて、サンプル内でのイベント-クエリ整合性とイベント-バックグラウンド分離を強制する4重制約パイプラインを適用する。
• クエリ類似度を用いて意味的に類似したイベントをクラスタリングし、コントラスト学習損失を適用してクラスタ内での密着性とクラスタ間での分離性を促進する。
• イベント検出器を用いて、短時間クリップや単一フレームなどの部分的ラベルを完全なイベント期間に拡張してイベントマスクを構築する。
• 完全教師ありブランチから得られるグラウディングの利点を、偽ラベルの生成と精緻化を通じて転送する部分的・完全統合（PFU）フレームワークを実装する。
• イベントとバックグラウンドの特徴をより明確に区別できるように、ガウス型マスクの代わりにプレートウエイプ型マスクを採用し、表現品質を向上させる。
• T-SNE可視化を用いて、4重制約パイプラインを適用した後、動画特徴が明確なクラスタ間分離性とクラスタ内密着性を示すことを確認する。

実験結果

リサーチクエスチョン

• RQ1 短時間クリップまたは単一フレームのラベルを用いた部分的教師あり設定が、完全教師ありTSGに近い性能を達成しつつ、著しく注釈コストを低減できるか？
• RQ2 限られた部分的ラベルを用いて、マルチモーダル表現を効果的に設計することで、グラウディング品質を向上させられるか？
• RQ3 サンプル間制約（例：クエリ類似度に基づくクラスタリング）が、部分的教師あり条件下での表現学習をどのように向上させるか？
• RQ4 部分的・完全統合（PFU）フレームワークが、部分的と完全な教師ありのギャップを効果的に埋め、完全教師あり手法の利点を活用できるか？
• RQ5 提案手法は、部分的ラベルの分布に依存せず、異なるデータセットおよび注釈パターンに対しても一般化可能か？

主な発見

• 提案された4重制約パイプラインは、動画-クエリ表現に比べて4.4%のmIoU向上を達成し、イベント-クエリ整合した特徴の優位性を示した。
• 短時間クリップラベル（2秒）をアンカーポイントとして用いることで、単一フレームラベルよりも高い性能が得られ、より高品質な偽ラベルが生成された。
• プレートウエイプ型マスクはガウス型マスクを上回り、マスクがゲート型に近づするほど性能が向上した。これは、イベントとバックグラウンドの区別がより明確になったことを示している。
• PFUフレームワークは、完全教師ありベースラインに非常に近い性能を達成し、Charades-STAおよびActivityNet Captionsでは、わずか1%未満のmIoU低下（例：<1%）で実現した。
• アブレーションスタディにより、ハードネガティブマイニングを伴うサンプル間制約が不可欠であることが確認された。それらが欠落すると、表現が自明な解に収束する。
• T-SNE可視化により、4重制約パイプラインを適用した後、動画特徴が明確なクラスタ間分離性とクラスタ内密着性を示しており、意味的表現が向上していることが確認された。