[論文レビュー] Weakly-supervised Visual Grounding of Phrases with Linguistic Structures

Fanyi Xiao, Leonid Sigal+1 more|arXiv (Cornell University)|May 3, 2017

Multimodal Machine Learning Applications参考文献 47被引用数 21

ひとこと要約

本論文は、領域対フレーズのアノテーションを一切用いずに、画像レベルのキャプションのみを用いて自由形式の言語的フレーズを画像内で局所化する弱教師付き視覚的グランドイング手法を提案する。言語的解析木から導出された2つの構造的損失（親子包含性と兄弟排他性）を備えた新規な深層ネットワークを導入し、ベースラインと比較してMS COCOおよびVisual Genomeの両データセットで顕著に局所化精度を向上させる。

ABSTRACT

We propose a weakly-supervised approach that takes image-sentence pairs as input and learns to visually ground (i.e., localize) arbitrary linguistic phrases, in the form of spatial attention masks. Specifically, the model is trained with images and their associated image-level captions, without any explicit region-to-phrase correspondence annotations. To this end, we introduce an end-to-end model which learns visual groundings of phrases with two types of carefully designed loss functions. In addition to the standard discriminative loss, which enforces that attended image regions and phrases are consistently encoded, we propose a novel structural loss which makes use of the parse tree structures induced by the sentences. In particular, we ensure complementarity among the attention masks that correspond to sibling noun phrases, and compositionality of attention masks among the children and parent phrases, as defined by the sentence parse tree. We validate the effectiveness of our approach on the Microsoft COCO and Visual Genome datasets.

研究の動機と目的

• 領域対フレーズのアノテーションが存在しない弱教師付き視覚的グランドイングの課題に取り組む。
• 解析木を介して自然言語記述の階層的構造を活用し、局所化精度を向上させる。
• 領域対フレーズのアノテーションを一切使用せず、任意のフレーズ（複雑な名詞句や形容詞を含む）の局所化を可能にする。
• 言語的構造を視覚的アテンションマスクに統合する包括的なディープラーニングフレームワークを設計する。
• 単純な物体検出を越えて、複雑な指差し表現の局所化を実現する。

提案手法

• 言語エンコーダ、視覚エンコーダ、および意味的プロジェクションモジュールを備えたニューラルネットワークを用い、フレーズと画像領域を共有埋め込み空間にマップする。
• attended画像領域と共有意味空間内での対応するフレーズを一致させるための判別的損失を適用する。
• フレーズのアテンションマスクがその子フレーズのマスクの和集合であることを強制する親子包含性損失を導入する（構成的性質）。
• 兄弟フレーズのアテンションマスク同士が空間的に排他的であることを強制する兄弟排他性損失を導入する（補完的性質）。
• 画像文ペアを用いてエンドツーエンドにモデルを学習し、真のボクセルボックスやセグメンテーションマスクは一切使用しない。
• 推論時において、任意の入力フレーズ（単語や複雑なフレーズを含む）に対してピクセル単位のアテンションマスクを生成可能である。

実験結果

リサーチクエスチョン

• RQ1 言語的解析木の構造は、領域対フレーズのアノテーションが存在しない弱教師付き視覚的グランドイングにおいて性能を向上させるか？
• RQ2 親子包含性と兄弟排他性の制約は、局所化精度にどのように影響するか？
• RQ3 画像レベルのキャプションのみで学習したモデルは、単純な名詞を越えて複雑なフレーズの正確な局所化を達成できるか？
• RQ4 構造的制約を統合したモデルは、判別的損失のみを用いるモデルや構造的制約なしのモデルと比較してどのように差がつくか？
• RQ5 解析木の誤りや言語表現の限界は、モデル性能にどの程度影響を与えるか？

主な発見

• 親子包含性と兄弟排他性の両制約を備えた本手法（Ours）は、MS COCOで最高のmAPを達成し、判別的損失のみのベースラインや他のアブレーションモデルを上回る。
• 親子（PC）および兄弟独立性（SIB）損失は、すべてのIOU閾値でmAPを向上させ、言語的構造を視覚的アテンションに効果的に伝達していることを示している。
• 完全なモデル（Ours）は、MS COCOおよびVisual Genomeの両方で最先端の性能を達成しており、構造的制約が局所化精度を向上させることを示している。
• 本モデルは、特に不規則な形状の物体や複雑なフレーズに対して、ベースラインよりも洗練され、より正確なアテンションマスクを生成している。
• 同じ画像内に複数の異なるオブジェクトを、異なる言語入力に対して正しく局所化できており、多様な指差し表現を処理する能力を示している。
• 失敗事例の主な原因は、誤った解析木（約20％の画像）、最適でない言語表現、および弱教師付き学習の本質的限界に起因する。