[論文レビュー] Natural Language Guided Visual Relationship Detection

Wentong Liao, Shuai Lin+2 more|arXiv (Cornell University)|Nov 16, 2017

Multimodal Machine Learning Applications参考文献 34被引用数 23

ひとこと要約

本論文は、自然言語の事前知識を活用して、双方向再帰ニューラルネットワーク（BRNN）を用いて物体ペア間の意味的関係を予測する、自然言語誘導型の視覚的関係検出フレームワークを提案する。言語埋め込みを用いた意味的関係のモデル化により、特にゼロショット一般化において最先端の性能を達成し、VRDのゼロショットテストセットにおいて再現率を76.42%から89.79%まで向上させた。

ABSTRACT

Reasoning about the relationships between object pairs in images is a crucial task for holistic scene understanding. Most of the existing works treat this task as a pure visual classification task: each type of relationship or phrase is classified as a relation category based on the extracted visual features. However, each kind of relationships has a wide variety of object combination and each pair of objects has diverse interactions. Obtaining sufficient training samples for all possible relationship categories is difficult and expensive. In this work, we propose a natural language guided framework to tackle this problem. We propose to use a generic bi-directional recurrent neural network to predict the semantic connection between the participating objects in the relationship from the aspect of natural language. The proposed simple method achieves the state-of-the-art on the Visual Relationship Detection (VRD) and Visual Genome datasets, especially when predicting unseen relationships (e.g. recall improved from 76.42% to 89.79% on VRD zero-shot testing set).

研究の動機と目的

• 自然言語からの意味的事前知識を活用することで、視覚的関係検出における長尾問題に対処すること。
• 物体カテゴリ間の意味的つながりをモデル化することで、未観測の関係への一般化を向上させること。
• 純粋な視覚分類や独立した物体-述語検出の限界を克服し、言語ベースの推論を統合すること。
• 頻度の高い関係から希少な関係へ知識を転送することで、訓練データのわずか一部で数千の関係タイプを検出可能にすること。

提案手法

• 双方向再帰ニューラルネットワーク（BRNN）を訓練し、物体の視覚的特徴と言語埋め込みを用いて、2つの検出済み物体間の述語を予測する。
• 単語埋め込みを用いて物体カテゴリ間の意味的関係を符号化し、類似した物体カテゴリ（例：'horse' と 'elephant'）が類似した関係的パターンを共有することを利用している。
• Faster R-CNN検出器から得られる視覚的特徴に加え、物体カテゴリの埋め込みと空間的情報（例：バウンディングボックス座標）をBRNNの入力として統合する。
• SGDと勾配クリッピングを用い、物体検出と述語予測を共同最適化するマルチタスク設定で、エンドツーエンドに訓練する。
• 言語空間における意味的類似度を用いて、既知の関係から未観測の関係へ一般化することで、ゼロショット推論を可能にする。
• Visual GenomeおよびVRDデータセットでモデルを評価し、観測済みおよび未観測の関係について再現率と適合率を測定する。

実験結果

リサーチクエスチョン

• RQ1 自然言語の事前知識は、視覚的関係検出におけるゼロショット一般化を改善できるか？
• RQ2 物体カテゴリ間の意味的関係をどれだけ効果的に活用して、希少または未観測の関係を推論できるか？
• RQ3 言語埋め込みを用いたBRNNによる述語モデル化は、長尾データセットにおいて従来の分類ベースのアプローチを上回るか？
• RQ4 視覚的・意味的整合性を向上させることで、'riding' と 'sitting' のような、同じ物体に対して文脈依存の複雑な関係をどれほど正確に検出できるか？

主な発見

• 提案手法は、Visual GenomeおよびVRDデータセットの両方で最先端の性能を達成し、特にゼロショット学習において顕著な優位性を示した。
• VRDのゼロショットテストセットにおいて、再現率が76.42%から89.79%まで向上し、未観測の関係への強力な一般化能力を実証した。
• トップの述語（例：'wearing'（99.59%）、'on'（99.39%））はRec@5においてほぼ完璧なスコアを達成し、タイプごとの述語分類精度が非常に高かった。
• 単語埋め込みにおける意味的類似度を活用することで、頻度の高い関係から希少な関係へ知識を効果的に転送できた。
• 定性的な結果から、物体カテゴリと文脈に基づいて 'sitting on' と 'riding' を正しく推論し、誤った類似性に基づく誤解を避けることができた。
• 物体検出器の誤検出に頼る場合が多いが、多数の誤検出は予測失敗ではなく検出性能の問題に起因しており、モデルの堅牢性が確認された。