[論文レビュー] VrR-VG: Refocusing Visually-Relevant Relationships

Yuanzhi Liang, Yalong Bai+4 more|arXiv (Cornell University)|Feb 1, 2019

Multimodal Machine Learning Applications参考文献 42被引用数 11

ひとこと要約

本論文は、視覚的識別子ネットワーク（VD-Net）を用いて Visual Genome から視覚的に無関係な関係をフィルタリングすることで、よりバランスが取れ、多様性があり、認知的に有用な新しいシーングラフデータセット VrR-VG を提案する。オブジェクト、属性、視覚的に関連のある関係から同時に表現を学習することで、画像キャプション生成および視覚的質問応答（VQA）タスクで顕著な性能向上を達成し、高品質な視覚的関係が視覚認識タスクの進展に不可欠であることを示している。

ABSTRACT

Relationships encode the interactions among individual instances, and play a critical role in deep visual scene understanding. Suffering from the high predictability with non-visual information, existing methods tend to fit the statistical bias rather than ``learning'' to ``infer'' the relationships from images. To encourage further development in visual relationships, we propose a novel method to automatically mine more valuable relationships by pruning visually-irrelevant ones. We construct a new scene-graph dataset named Visually-Relevant Relationships Dataset (VrR-VG) based on Visual Genome. Compared with existing datasets, the performance gap between learnable and statistical method is more significant in VrR-VG, and frequency-based analysis does not work anymore. Moreover, we propose to learn a relationship-aware representation by jointly considering instances, attributes and relationships. By applying the representation-aware feature learned on VrR-VG, the performances of image captioning and visual question answering are systematically improved with a large margin, which demonstrates the gain of our dataset and the features embedding schema. VrR-VG is available via http://vrr-vg.com/.

研究の動機と目的

• 既存の視覚的関係データセットが統計的にバイアスが強く、視覚的でない関係に支配されているという限界に対処すること。
• 視覚的識別子ネットワーク（VD-Net）を用いて、Visual Genome から視覚的に無関係な関係を自動で pruning することで、新しいデータセット VrR-VG を構築すること。
• 視覚的に関連のある関係から学習することで、画像キャプション生成や視覚的質問応答のような認知タスクのための優れた表現が得られることを示すこと。
• 頻度ベースのベースラインが VrR-VG で失敗することを示し、統計的バイアスが低減され、視覚的関連性が高まっていることを証明すること。
• オブジェクト、属性、関係を統合した統一された、関係に注意を払った特徴表現を実現する共同学習フレームワークの開発

提案手法

• 視覚的関連性あり／なしの関係を識別できる視覚的識別子ネットワーク（VD-Net）を、画像特徴とバウンディングボックスの位置情報を入力として学習する。
• VD-Net を元の Visual Genome データセットに適用し、空間的配置や言語の事前知識のみで予測可能な関係をフィルタリングする。
• フィルタリングされたデータセットは、VG150 よりもよりバランスが取れ、多様性に富んだ関係ラベルの分布を持つ「視覚的関連関係データセット（VrR-VG）」と命名される。
• オブジェクトの識別子、空間的位置、属性、関係を同時に統合して、統一された特徴空間にエンコードする共同表現学習フレームワークを提案する。
• VrR-VG で学習した特徴を用いて、画像キャプション生成および VQA タスクの評価を実施し、VG150、R-VG、オブジェクトのみのベースラインと比較するアブレーションスタディを実施する。
• クロスエントロピーと CIDEr 最適化の両方を用いてフレームワークを訓練し、MSCOCO 2014 および VQA 2.0 ベンチマークで性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 学習された視覚的識別子は、大規模なシーングラフデータセットから視覚的に無関係な関係を効果的に同定・フィルタリングできるか？
• RQ2 視覚的に関連する関係のみを含むデータセットを構築することで、画像キャプション生成や VQA などの視覚認識タスクの性能が向上するか？
• RQ3 オブジェクト、属性、関係の共同学習は、オブジェクトのみまたは属性のみの特徴よりも情報量の多い視覚的表現を生成できるか？
• RQ4 頻度ベースの統計的ベースラインが、新しい VrR-VG データセットでどの程度失敗するか。これは、統計的バイアスが低減され、視覚的理解に依存するようになったことを示唆する。
• RQ5 VrR-VG からの関係に注意を払った特徴は、VG150 や R-VG からの特徴と比較して、キャプション生成における意味的豊かさと多様性の点で優れているか？

主な発見

• VrR-VG では、'on'、'of'、'in' などの視覚的でない関係が、VG150 で占めていた 31.9% から著しく減少し、よりバランスが取れ、多様性に富んだラベル分布が実現された。
• 頻度ベースのベースラインは VrR-VG ではもはや効果を発揮しなくなり、データセットが統計的バイアスに弱くなく、視覚的理解に依存していることが示された。
• VrR-VG で微調整された画像キャプションモデルは、CIDEr 最適化下で CIDEr スコア 120.7 を達成し、VG150（118.2）および R-VG（118.8）を上回った。
• VQA タスクにおいて、VrR-VG からの関係に注意を払った特徴は性能向上をもたらし、視覚的に関連する関係が推論能力を高めることを示した。
• VrR-VG で学習したモデルは、'on' や 'with' よりも意味的に豊かで多様性に富んだ述語、たとえば 'hanging' や 'covered' を生成するようになった。
• BottomUp-VG よりも画像数とアノテーション数が少ないにもかかわらず、VrR-VG の特徴は画像キャプションタスクで同等またはそれ以上の性能を達成し、量よりも高品質な関係の価値を証明した。