[論文レビュー] Large-Scale Visual Relationship Understanding

Ji Zhang, Yannis Kalantidis+4 more|arXiv (Cornell University)|Apr 27, 2018

Multimodal Machine Learning Applications参考文献 44被引用数 15

ひとこと要約

本論文は、視覚的特徴と意味的特徴を統合的に共有空間に埋め込むことで、識別力と意味的類似性を両立させる、大規模な視覚的関係検出のための新しい深層学習モデルを提案する。53,000以上のオブジェクトおよび29,000以上の関係カテゴリを含むベンチマークで、極端な長尾クラス分布下でも、マルチレベル特徴統合戦略と意味的整合性正則化を施した対照的トリプル損失を用いることで、最先端の性能を達成する。

ABSTRACT

Large scale visual understanding is challenging, as it requires a model to handle the widely-spread and imbalanced distribution of triples. In real-world scenarios with large numbers of objects and relations, some are seen very commonly while others are barely seen. We develop a new relationship detection model that embeds objects and relations into two vector spaces where both discriminative capability and semantic affinity are preserved. We learn both a visual and a semantic module that map features from the two modalities into a shared space, where matched pairs of features have to discriminate against those unmatched, but also maintain close distances to semantically similar ones. Benefiting from that, our model can achieve superior performance even when the visual entity categories scale up to more than 80,000, with extremely skewed class distribution. We demonstrate the efficacy of our model on a large and imbalanced benchmark based of Visual Genome that comprises 53,000+ objects and 29,000+ relations, a scale at which no previous work has ever been evaluated at. We show superiority of our model over carefully designed baselines on the original Visual Genome dataset with 80,000+ categories. We also show state-of-the-art performance on the VRD dataset and the scene graph dataset which is a subset of Visual Genome with 200 categories.

研究の動機と目的

• 80,000以上の固有のカテゴリを含む、スケールが大きな長尾的・オープンボックス視覚的関係検出の課題に対処すること。
• 極端なクラス不均衡が生じる状況下でも、視覚的・意味的埋め込み空間における識別力と意味的類似性を維持すること。
• 主語・関係・目的語間の意味的つながりを統合的特徴学習によってモデル化することで、希少な関係の一般化性能を向上させること。
• Visual Genome (VG80k) や VRD やシーングラフといった標準データセットを含む、大規模で不均衡なベンチマークでの有効性を実証すること。

提案手法

• 主語および目的語の視覚的・意味的埋め込みを別々に学習する二重ブランチネットワークを導入し、関係予測の前に複数レベルで特徴を統合する。
• 一致する視覚的・意味的ペアは近づけ、一致しないペアは遠ざけるように、対照的トリプル損失を用いて、一致するペアと不一致ペアの分離を実現する。
• 同じラベル（例：同じオブジェクトクラス）を持つ視覚的特徴が近接して埋め込まれるように制御するための新規な整合性損失 $\mathcal{L}_c$ を用いる。
• 対照的損失、分類損失、整合性項を組み合わせたマルチタスク損失を用いて、視覚的および意味的特徴の共同最適化を実施する。
• 主語および目的語の特徴を後段で連結することで、関係予測に強い文脈的事前知識を提供する。
• 事前学習済み埋め込みに依存するのではなく、視覚的および意味的表現を同時に微調整することで、アライメントと性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 80,000以上の固有のカテゴリを含むスケールで、統合モデルが視覚的・意味的埋め込みを効果的に学習できるか。
• RQ2 極端な長尾、オープンボックス視覚的関係検出において、識別力と意味的類似性を両立できるか。
• RQ3 主語および目的語の特徴をマルチレベルで統合することで、希少または複雑な関係の予測性能が向上するか。
• RQ4 意味的整合性正則化を施した対照的損失が、極端な長尾状況下で、標準的な分類損失やトリプル損失ベースラインを上回るか。

主な発見

• 本モデルは、80,000以上のカテゴリを含むVisual Genomeデータセットで、従来手法が検証したことがない規模において、最先端の性能を達成した。
• VG80kの検証セットでは、マージン $m=0.2$ の条件下でトップ1正答率28.13%、平均リcall 47.48%を達成し、整合性損失 $\mathcal{L}_c$ を含まないモデルを上回った。
• アブレーションスタディにより、三つの損失（$\mathcal{L}_y$、$\mathcal{L}_x$、$\mathcal{L}_c$）を併用した場合が最良の性能を示し、$\mathcal{L}_c$ が視覚的特徴の構造的整合性を維持するために不可欠であることが確認された。
• 希少な関係に対しても一般化性能が高く、たとえ誤りであっても意味的に整合性のある予測（例："lamp on pole" の代わりに "light on pole" を予測）を生成した。
• マージン $m=0.2$ のトリプル損失が最適な性能を達成したが、より大きなマージンでは性能が低下した。これは、すべてのネガティブ例を同等に扱うためであり、本研究で用いられたソフトマックスベースの対照的アプローチとは異なる。
• 定性的な結果から、本モデルは頻度の高いカテゴリに限らず、多様な関係タイプ（相互作用的、位置的、属性的）を効果的に捉えられていた。