[論文レビュー] Structured Context Transformer for Generic Event Boundary Detection

Congcong Li, Xinyao Wang+5 more|arXiv (Cornell University)|Jun 7, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、構造的シーケンス分割を用いて変換器による線形計算複雑性を実現する、汎用的イベント境界検出（GEBD）のエンドツーエンド手法である構造的コンテキスト変換器（SC-Transformer）を提案する。フレーム表現間のグループ類似度を計算し、境界予測に軽量なFCNを採用することで、Kinetics-GEBDおよびTAPOSで最先端の性能を達成し、DDM-Netに比べて1.3%の絶対的F1スコア向上を達成した。

ABSTRACT

Generic Event Boundary Detection (GEBD) aims to detect moments where humans naturally perceive as event boundaries. In this paper, we present Structured Context Transformer (or SC-Transformer) to solve the GEBD task, which can be trained in an end-to-end fashion. Specifically, we use the backbone convolutional neural network (CNN) to extract the features of each video frame. To capture temporal context information of each frame, we design the structure context transformer (SC-Transformer) by re-partitioning input frame sequence. Note that, the overall computation complexity of SC-Transformer is linear to the video length. After that, the group similarities are computed to capture the differences between frames. Then, a lightweight fully convolutional network is used to determine the event boundaries based on the grouped similarity maps. To remedy the ambiguities of boundary annotations, the Gaussian kernel is adopted to preprocess the ground-truth event boundaries to further boost the accuracy. Extensive experiments conducted on the challenging Kinetics-GEBD and TAPOS datasets demonstrate the effectiveness of the proposed method compared to the state-of-the-art methods.

研究の動機と目的

• 人間の粒度に近い、分類体系に依存しない、知覚に基づくイベント境界の検出という課題に取り組む。
• 従来の手法が構造的コンテキストモデリングの欠如により、二次計算複雑性や不要なフレーム処理に起因する限界を克服する。
• 人間アノテーションのイベント境界に内在する曖昧性を効率的に取り入れた時間的コンテキストモデリングにより、境界検出精度を向上させる。
• 長時間の動画シーケンスに適した線形複雑性アーキテクチャを設計することで、エンドツーエンド学習を可能にし、高い推論効率を実現する。
• 従来のグローバル類似度や単一グループアプローチとは異なり、判別的特徴学習を強化する新しいグループ類似度メカニズムを導入する。

提案手法

• 各動画フレームから2次元特徴を抽出するためのCNNバックボーンを用い、その後グローバル平均プーリングを適用してフレーム埋め込みのシーケンスを形成する。
• フレームシーケンスを各フレームの局所的で構造的なコンテキストに再分割するための「シーケンスの構造的分割（SPoS）」機構を適用し、線形複雑性を持つ局所的アテンションを可能にする。
• 各構造的コンテキストに変換器エンコーダブロックを適用し、局所的なシーケンス上で効率的でスケーラブルな自己アテンションにより高レベル表現を学習する。
• 複数チャネルにわたるフレーム表現間のグループ類似度を計算し、判別的な差を捉える。学習可能なグループ化メカニズムにより特徴の判別性を向上させる。
• グループ化された類似度マップからイベント境界を予測するために、軽量な完全畳み込みネットワーク（FCN）を用い、密なフレーム単位の境界分類を実現する。
• 学習中に真値アノテーションにガウスカーネルスムージングを適用することで、ラベルの曖昧性を低減し、モデルの収束性とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 線形複雑性を持つ構造的コンテキストモデリングアプローチは、従来のグローバルまたは局所的自己アテンション機構を上回る性能を発揮できるか？
• RQ2 グループ類似度学習は、単一グループまたはグローバル類似度計算と比較して、境界検出のための判別的フレーム差をどれほど効果的に捉えられるか？
• RQ3 真値境界のガウススムージングは、曖昧なGEBDアノテーションにおける学習安定性とモデル一般化性能をどの程度向上させるか？
• RQ4 十分な時間的コンテキストを捉えるには最適な窓サイズは何か？ノイズの増加を避ける観点からも検討する。
• RQ5 モデルの幅と類似度グループ数は、提案されたSC-Transformerアーキテクチャにおける性能と効率にどのように影響を与えるか？

主な発見

• 提案されたSC-Transformerは、Kinetics-GEBDデータセットでDDM-Netに比べ1.3%の絶対的F1スコア向上を達成し、最先端の性能を示した。
• Kinetics-GEBDでは平均F1スコア0.881、TAPOSでは0.882を達成し、すべての評価閾値（0.05, 0.25, 0.5）で一貫した向上を示した。
• BCE損失と組み合わせたガウススムージングにより、平均F1スコアが0.016向上し、ラベルの曖昧性と過信の緩和効果が確認された。
• コンテキストモデリングにおける最適な隣接窓サイズはK=8であり、それ以上の値では複数の境界に起因するノイズにより性能が飽和またはわずかに低下した。
• G=8のグループ類似度が最高の性能（平均F1スコア0.882）を達成し、マルチグループ類似度学習が判別的特徴学習を強化することを示した。
• モデルは動画長に対して線形の計算複雑性を維持しており、特に長時間の動画において効率的な推論と学習を実現した。