[論文レビュー] Long-tail Visual Relationship Recognition with a Visiolinguistic Hubless Loss

Sherif Abdelkarim, Panos Achlioptas+4 more|arXiv (Cornell University)|Mar 25, 2020

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文は、視覚的関係の長尾分布に従う、まれな主語・述語・目的語の組み合わせを認識するための新規タスクを提示する。視覚言語的Hubless損失を用いることで、低リソースクラスへの一般化性能が向上する。この手法はWordNetとword2vecを用いて意味的類似度を活用し、意味的に近い予測に対して評価を付与することで、ヘッドクラスの性能を損なわず、テール関係で一貫した性能向上を達成する。

ABSTRACT

Scaling up the vocabulary and complexity of current visual understanding systems is necessary in order to bridge the gap between human and machine visual intelligence. However, a crucial impediment to this end lies in the difficulty of generalizing to data distributions that come from real-world scenarios. Typically such distributions follow Zipf's law which states that only a small portion of the collected object classes will have abundant examples (head); while most classes will contain just a few (tail). In this paper, we propose to study a novel task concerning the generalization of visual relationships that are on the distribution's tail, i.e. we investigate how to help AI systems to better recognize rare relationships like , where the subject S, predicate P, and/or the object O come from the tail of the corresponding distributions. To achieve this goal, we first introduce two large-scale visual-relationship detection benchmarks built upon the widely used Visual Genome and GQA datasets. We also propose an intuitive evaluation protocol that gives credit to classifiers who prefer concepts that are semantically close to the ground truth class according to wordNet- or word2vec-induced metrics. Finally, we introduce a visiolinguistic version of a Hubless loss which we show experimentally that it consistently encourages classifiers to be more predictive of the tail classes while still being accurate on head classes. Our code and models are available on this http URL.

研究の動機と目的

• 実世界のデータに見られる長尾分布に従うまれな視覚的関係の認識という課題に対処すること。
• オブジェクト、述語、または目的語のカテゴリに訓練例が少ない低リソースクラスへの一般化を改善すること。
• 語彙的埋め込みを用いて、予測値と正例との間の意味的類似度に基づいて評価を付与する、新しい評価プロトコルの開発。
• 視覚言語的Hubless損失を導入し、テールクラスの予測を向上させつつ、ヘッドクラスの正確性を維持すること。
• Visual GenomeとGQAに基づく、長尾視覚的関係検出のための大規模なベンチマーク2つを構築・公開すること。

提案手法

• Visual GenomeとGQAデータセットを用いて、長尾クラス分布を強調した大規模な視覚的関係検出ベンチマーク2つを構築する。
• WordNetとword2vecを用いて、予測クラスと正例クラスの意味的類似度に基づいて評価を付与するプロトコルを設計する。
• 言語的事前知識を損失関数に組み込み、意味的に関連するテールクラスにモデルの注目を向ける視覚言語的Hubless損失を提案する。
• 語彙的埋め込みを用いて、意味的に関連する概念の柔らかく確率的なラベル分布を定義し、モデルがまれな関係に一般化できるようにする。
• ビジョン・ランゲージモデルにHubless損失を適用し、正確な一致だけでなく、意味的に近い関係の予測も促進する。
• 視覚的特徴と言語的表現を一致させる対照学習の目的関数を採用し、ゼロショットおよびフェイシュット一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚言語的損失関数は、ヘッドクラスの正確性を損なわず、長尾視覚的関係の認識性能を向上させることができるか？
• RQ2 WordNetとword2vecによる意味的類似度は、まれな関係の正しくない予測を導くのにどの程度効果的か？
• RQ3 修正されたHubless損失は、視覚的関係検出におけるテールクラスへの一般化をどの程度促進できるか？
• RQ4 提案された評価プロトコルは、標準的な正確度指標と比較して、現実世界の一般化をどの程度よく反映しているか？
• RQ5 損失関数に言語的事前知識を組み込むことで、フェイシュットおよびゼロショット視覚的関係認識にどのような影響を与えるか？

主な発見

• 視覚言語的Hubless損失は、ヘッドクラスの正確性を維持しながら、テールクラスの視覚的関係検出で一貫した性能向上を達成する。
• 提案された評価プロトコルは、正確な一致でないが意味的に関連する概念を予測するモデルに対して効果的に評価を付与する。
• 視覚言語的Hubless損失で訓練されたモデルは、特にフェイシュットおよびゼロショット設定において、まれな関係への一般化性能が顕著に向上する。
• word2vecとWordNetの埋め込みを用いることで、意味的なインダクティブバイアスが得られ、長尾関係の性能が顕著に向上する。
• Visual GenomeとGQAに基づく2つの新しいベンチマークは、長尾視覚的関係認識のための現実的でスケーラブルなテストベッドを提供する。
• アブレーションスタディにより、損失関数の言語的成分がテール一般化において不可欠であることが確認され、低リソース環境下で標準的な交差エントロピー損失を上回る。