[論文レビュー] Grounded Situation Recognition with Transformers

Junhyeong Cho, Youngseok Yoon+2 more|arXiv (Cornell University)|Nov 19, 2021

Multimodal Machine Learning Applications参考文献 32被引用数 7

ひとこと要約

本論文では、画像内の動詞、意味的役割、局所化された名詞エンティティを同時に予測する、最初のTransformerベースのモデルGSRTRを提案する。視覚エンコーダと言語デコーダのアーキテクチャを採用し、自己自己注意機構を活用することで、高レベルの意味的特徴と画像依存の役割関係を捉えることで、動詞分類と局所化された名詞予測の両方において高い精度を達成する。SWiGベンチマークにおいて最先端の性能を達成した。

ABSTRACT

Grounded Situation Recognition (GSR) is the task that not only classifies a salient action (verb), but also predicts entities (nouns) associated with semantic roles and their locations in the given image. Inspired by the remarkable success of Transformers in vision tasks, we propose a GSR model based on a Transformer encoder-decoder architecture. The attention mechanism of our model enables accurate verb classification by capturing high-level semantic feature of an image effectively, and allows the model to flexibly deal with the complicated and image-dependent relations between entities for improved noun classification and localization. Our model is the first Transformer architecture for GSR, and achieves the state of the art in every evaluation metric on the SWiG benchmark. Our code is available at https://github.com/jhcho99/gsrtr .

研究の動機と目的

• グランド付き状況認識の課題に取り組むこと。これは、画像内の動詞、意味的役割、局所化されたエンティティを同時に予測する必要がある。
• 同じ行動をとる画像間で高レベルの意味的変動が生じるため、動詞予測の難易度を克服すること。
• エンティティ間の複雑で画像依存の関係をモデル化することで、名詞分類と局所化の精度を向上させること。
• オブジェクト検出やキャプション生成を超えた視覚・言語統合シーン理解タスクにおいて、Transformerアーキテクチャの可能性を調査すること。
• SWiGデータセットを用いて、GSRのための新しい最先端のベンチマークを確立すること。

提案手法

• モデルは、Transformerエンコーダ・デコーダアーキテクチャを採用し、エンコーダが学習可能な動詞トークンとCNNバックボーンから得た画像特徴を処理して、顕著な動詞を予測する。
• エンコーダは多頭部自己自己注意機構を用いて、画像特徴から高レベルの意味的特徴を捉え、正確な動詞分類を可能にする。
• デコーダは、画像特徴と各役割ごとの学習可能な役割-動詞クエリ埋め込みに注目することで、各意味的役割の予測を生成する。
• 各役割固有のクエリは、デコーダブロックを経て、名詞クラス、ボクシングボックス座標、存在確率を予測する。
• デコーダの自己自己注意およびクロス自己注意メカニズムにより、エンティティ間の画像依存の関係を柔軟にモデル化できる。
• それぞれ動詞、名詞、局所化ヘッドに対して交差エントロピー損失とボックス損失を用いて、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 純粋なTransformerアーキテクチャが、動詞予測と局所化された名詞検出を同時に必要とするグランド付き状況認識で最先端の性能を達成できるか？
• RQ2 Transformerの自己自己注意機構が、意味的役割とエンティティ間の複雑で画像依存の関係をどれほど効果的にモデル化できるか？
• RQ3 エンコーダの自己自己注意機構が、同じ行動でも視覚的変動が大きい状況でも、関連する視覚的領域に焦点を当てることで動詞分類の精度を向上させられるか？
• RQ4 デコーダが画像特徴と役割クエリに注目することで、従来手法に比べてグランド付き名詞局所化の精度がどの程度向上するか？
• RQ5 モデルの予測を用いて、共通の動詞と重複するボクシングボックスを有する整合された名詞役割に基づいて、意味的・空間的に整合性のとれた画像検索を可能にできるか？

主な発見

• GSRTRは、SWiGベンチマークのすべての評価指標で最先端の性能を達成し、動詞認識、名詞分類、局所化精度の面で従来モデルを上回った。
• エンコーダの動詞トークン自己自己注意マップは、一貫して関連する行動領域（例：引っ張られている物体）に注目しており、高レベルの意味的特徴の学習が効果的に行われていることを示している。
• デコーダの自己自己注意機構は、画像依存の役割関係を効果的にモデル化できており、名詞エンティティとそのボクシングボックスの正確で柔軟な予測を可能にした。
• モデルはグランド付き意味的認識に適した画像検索を可能にし、類似性が共通の動詞と重複するボクシングボックスを持つ整合された名詞役割に基づいて計算されることで、意味的かつ空間的に整合性のある検索結果を生成した。
• アブレーションスタディの結果、特に複数の相互作用するエンティティを含む複雑なシーンにおいて、エンコーダの自己自己注意とデコーダのクロス自己注意の両方が性能に不可欠であることが確認された。
• 「引っ張る」といった同じ動詞の多様な視覚的バリエーションに対しても、モデルは層をまたいで関連する行動に特化した視覚的手がかりに注目することで、頑健な性能を示した。