[論文レビュー] ClawCraneNet: Leveraging Object-level Relation for Text-based Video Segmentation

Liang Chen, Yu Wu+2 more|arXiv (Cornell University)|Mar 19, 2021

Multimodal Machine Learning Applications参考文献 48被引用数 20

ひとこと要約

ClawCraneNetは、検索ベースのパイプラインを用いて位置的、意味的、時間的関係をモデル化することで、テキストベースの動画セグメンテーションのための画期的なトップダウン的手法を提案する。最初に候補対象オブジェクトを特定し、その後にマルチモodal関係を活用することで、A2D SentencesおよびJ-HMDB SentencesのSOTA性能を達成し、局所的ピクセルレベルの視覚言語相互作用に依存する従来のボトムアップ手法を著しく上回る。

ABSTRACT

Text-based video segmentation is a challenging task that segments out the natural language referred objects in videos. It essentially requires semantic comprehension and fine-grained video understanding. Existing methods introduce language representation into segmentation models in a bottom-up manner, which merely conducts vision-language interaction within local receptive fields of ConvNets. We argue that such interaction is not fulfilled since the model can barely construct region-level relationships given partial observations, which is contrary to the description logic of natural language/referring expressions. In fact, people usually describe a target object using relations with other objects, which may not be easily understood without seeing the whole video. To address the issue, we introduce a novel top-down approach by imitating how we human segment an object with the language guidance. We first figure out all candidate objects in videos and then choose the refereed one by parsing relations among those high-level objects. Three kinds of object-level relations are investigated for precise relationship understanding, i.e., positional relation, text-guided semantic relation, and temporal relation. Extensive experiments on A2D Sentences and J-HMDB Sentences show our method outperforms state-of-the-art methods by a large margin. Qualitative results also show our results are more explainable.

研究の動機と目的

• ボトムアップ手法の限界、すなわち局所的ピクセルレベルの視覚言語相互作用に依存し、高レベルの意味的関係をモデル化できない点を是正すること。
• 人間の視覚認知を模倣することでセグメンテーション精度を向上させること：まず候補オブジェクトを特定し、その後に関係性を用いた推論で参照対象を特定する。
• 位置的、意味的、時間的の3種類のオブジェクトレベルの関係が、動画セグメンテーションにおけるクロスマodal理解を向上させる有効性を調査すること。
• 従来のボトムアップ特徴統合とは対照的に、トップダウンでオブジェクト中心の推論が、より強固で正確なセグメンテーションをもたらすことを示すこと。

提案手法

• 事前学習済みのインスタンスセグメンテーションモデルを用いて最初に候補オブジェクトを検出するトップダウンパイプラインで、オブジェクトレベルのクロスマodal検索を可能にする。
• 順位付けられたインデックスを用いて空間的関係（例：「左から2番目」）をモデル化する相対的位置符号化モジュール。
• 言語的キーワードに従って関連するオブジェクトペアを強調することで、意味的関係（例：「ボールを蹴っている」）を捉える言語誘導型オブジェクトアテンションモジュール。
• 複数オブジェクトトラッキングとハンガリアン法に基づく関連付けを用いて、時間的関係モジュールを構築し、フレーム間でのオブジェクトトラックを確立し、時間的整合性を保証する。
• 最終的なセグメンテーションは、トラックごとの信頼度スコアの平均化によって得られ、時間的整合性を活用して安定した予測を実現する。
• ネットワークは、言語的ガイダンスに従って候補オブジェクト群からターゲットオブジェクトを選択するクラウドクラッパー機械の比喩にちなんで「ClawCraneNet」と命名された。

実験結果

リサーチクエスチョン

• RQ1 位置的、意味的、時間的のオブジェクトレベルの関係をモデル化することで、ピクセルレベルの相互作用と比較して、テキストベースの動画セグメンテーションの精度が向上するか？
• RQ2 最初に候補オブジェクトを特定し、その後に関係性を推論するトップダウンで検索ベースのアプローチが、ピクセルレベルで視覚と言語を統合するボトムアップ手法を上回るか？
• RQ3 相対的位置符号化と言語誘導型アテンションは、空間的または動作に基づく関係を含む参照表現を理解する上でどのように寄与するか？
• RQ4 フレーム間での時間的整合性を組み込むことで、セグメンテーションのロバスト性がどの程度向上し、曖昧さが軽減されるか？

主な発見

• ClawCraneNetは、A2D SentencesおよびJ-HMDB Sentencesの両方でSOTA性能を達成し、既存手法を大きく上回った。
• アブレーションスタディにより、位置的、意味的、時間的の3つのオブジェクトレベル関係モジュールが性能向上に顕著に寄与していることが確認され、特に時間的モジュールが最大の向上をもたらした。
• 3つの関係モジュールをすべて備えたモデル（ClawCraneNet + 時間的関係）が、A2D Sentencesで最高のmIoUを達成し、マルチモーダルで関係性を用いた推論の有効性を示した。
• 定性的な分析から、ClawCraneNetは特に曖昧またはコントラストが低いオブジェクトを含む複雑なシーンにおいて、ボトムアップ手法よりも明確で正確なマスクを生成することがわかった。
• t-SNE可視化により、モデルが識別性が高く、明確に分離されたオブジェクト埋め込みを学習していることが確認され、関係モジュールの設計の妥当性が裏付けられた。
• 失敗事例から、高速な動き、鏡面反射、曖昧な言語処理の処理における課題が明らかとなり、不確実性下での視覚言語基盤の改善の余地があることが示された。