[論文レビュー] RefVOS: A Closer Look at Referring Expressions for Video Object Segmentation

Míriam Bellver, Carles Ventura+4 more|arXiv (Cornell University)|Oct 1, 2020

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

本論文は、BERTに基づく言語符号化を活用して、言語誘導型動画オブジェクトセグメンテーションにおいて最先端のパフォーマンスを達成するエンドツーエンドの深層ニューラルネットワーク、RefVOSを提案する。既存のベンチマークが単純な指し示し表現に支配されていることが明らかになり、特に動きや静的行動を含む表現が主な課題であることが判明。非自明なケースでは性能が著しく低下し、特に静的行動や動きを記述するREでは顕著である。

ABSTRACT

The task of video object segmentation with referring expressions (language-guided VOS) is to, given a linguistic phrase and a video, generate binary masks for the object to which the phrase refers. Our work argues that existing benchmarks used for this task are mainly composed of trivial cases, in which referents can be identified with simple phrases. Our analysis relies on a new categorization of the phrases in the DAVIS-2017 and Actor-Action datasets into trivial and non-trivial REs, with the non-trivial REs annotated with seven RE semantic categories. We leverage this data to analyze the results of RefVOS, a novel neural network that obtains competitive results for the task of language-guided image segmentation and state of the art results for language-guided VOS. Our study indicates that the major challenges for the task are related to understanding motion and static actions.

研究の動機と目的

• 既存の動画オブジェクトセグメンテーションベンチマークにおける指し示し表現（REs）の言語的複雑さを分析し、単純なケースが支配的であることを明らかにすること。
• 外観、位置、動き、静的行動などを含む7つのカテゴリーに分類する新しい意味的分類法を提案し、言語的課題をよりよく理解すること。
• 言語誘導型動画オブジェクトセグメンテーションにおいてDAVIS-2017およびActor-Action（A2D）ベンチマークで最先端のパフォーマンスを達成する新しいエンドツーエンドモデルRefVOSを開発すること。
• 異なるRE意味的カテゴリーにおけるモデルパフォーマンスを評価し、どの言語的タイプが最も困難であるかを特定すること。
• より厳密な言語的接地の評価を可能にするために、A2Dデータセットに新しい非自明なREを意味的カテゴリーごとにアノテートして拡張すること。

提案手法

• RefVOSはBERTを用いて指し示し表現を文脈に即した埋め込みに符号化し、クロスアテンション機構を通じて動画特徴と統合し、ピクセル単位のセグメンテーションマスクを生成する。
• モデルは、真値マスク付きの動画フレーム上でエンドツーエンドに訓練され、空間的コンテキストを捉えるためにマルチスケール特徴ピラミッドネットワークが使用される。
• 著者らは、REsを7つの意味的タイプ（外観、位置、動き、静的、行動、関係、一般）に分類する新しいアノテーションスキームを導入した。
• A2Dデータセットに140個の新しい非自明なREを追加し、意味的カテゴリーにわたるバランスの取れたカバレッジを確保して、公平な比較を可能にした。
• パフォーマンスは、DAVIS-2017および拡張済みA2Dデータセットにおける平均交差率（mIoU）を用いて評価され、非自明 vs. 自明なREおよび意味的カテゴリーごとに分析された。
• モデルパフォーマンスを、たとえば「アーティストのみ」や「行動のみ」、または「完全なフレーズ」など、異なる言語的入力条件下で比較し、言語的コンポonentの寄与を分離した。

実験結果

リサーチクエスチョン

• RQ1 言語誘導型動画オブジェクトセグメンテーションの現在のベンチマークは、単純なヒントで解決可能な単純な指し示し表現にどれほど支配されているのか？
• RQ2 外観、位置、動き、静的行動といった指し示し表現の意味的カテゴリーの中で、最先端モデルが最も困難に感じるのはどれか？
• RQ3 指し示し表現にアーティストのみ、行動のみ、または両方の情報が含まれる場合、RefVOSのパフォーマンスは完全な言語フレーズと比べてどのように変化するか？
• RQ4 指し示し表現に動きや静的行動の記述が含まれると、モデルパフォーマンスが著しく低下するのか？ もしそうなら、その理由は何か？
• RQ5 指し示し表現のより洗練された分類法は、将来的な動画オブジェクトセグメンテーションモデルの評価と開発を改善できるか？

主な発見

• DAVIS-2017における非自明な指し示し表現のmIoUは46.2であり、自明なケースの48.7よりも顕著に低い。これは、非自明なREがより困難であることを示している。
• A2Dデータセットでは、非自明なREのmIoUは33.2であり、自明なケースの53.9よりも著しく低い。複雑な表現におけるパフォーマンスの低下が顕著に現れている。
• 静的行動の記述（例：「持っている」「座っている」）が含まれると、パフォーマンスが最も悪化する。存在しない場合のmIoUは36.21、存在する場合のmIoUは34.28であり、静的行動の処理がモデルにとって強い困難であることが示唆される。
• 動き関連のREはパフォーマンスを向上させない。モデルは動きの手がかりが有る場合とない場合で、mIoUが35.58対35.60と同程度の性能を示しており、動き情報を活用できていないことが示唆される。
• 指し示し表現にアーティストの単語のみを用いる場合、mIoUは51.3となり、行動のみの43.0よりも顕著に高い。これは、アーティストの識別子が行動の記述よりも情報量が多いことを示している。
• A2Dにおける完全な言語フレーズではmIoUが49.7に達し、アーティストと行動の両方の情報を持つ設定を上回る。非自明なケースにおいて、完全な言語的コンテキストの重要性が強調されている。