[論文レビュー] Scene Graph based Image Retrieval -- A case study on the CLEVR Dataset

Sahana Ramnath, Amrita Saha+2 more|arXiv (Cornell University)|Nov 3, 2019

Multimodal Machine Learning Applications参考文献 7被引用数 9

ひとこと要約

この論文は、クエリとカタログのシーングラフ間の学習可能なグラフマッチング問題として、ワンショットおよびイテレーティブな検索をモデル化するニューラルシンボリックなシーングラフベースの画像検索フレームワークを提案する。REINFORCEを用いてエンドツーエンドで訓練された手法は、20%の属性が欠落している状況で89%の精度を達成し、30%欠落では75%を示す。これは、不十分なクエリに対しても頑健であることを示す一方で、質問-回答ループを介したインタラクティブな精緻化を可能にする。

ABSTRACT

With the prolification of multimodal interaction in various domains, recently there has been much interest in text based image retrieval in the computer vision community. However most of the state of the art techniques model this problem in a purely neural way, which makes it difficult to incorporate pragmatic strategies in searching a large scale catalog especially when the search requirements are insufficient and the model needs to resort to an interactive retrieval process through multiple iterations of question-answering. Motivated by this, we propose a neural-symbolic approach for a one-shot retrieval of images from a large scale catalog, given the caption description. To facilitate this, we represent the catalog and caption as scene-graphs and model the retrieval task as a learnable graph matching problem, trained end-to-end with a REINFORCE algorithm. Further, we briefly describe an extension of this pipeline to an iterative retrieval framework, based on interactive questioning and answering.

研究の動機と目的

• 大規模なカタログにおける不完全または曖昧なキャプションによるテキストベースの画像検索の課題に対処すること。
• シーングラフを介したシンボリックな構造的推論をニューラル学習と統合することで、解釈可能性と頑健性を向上させること。
• フィードバックを用いてクエリグラフを精緻化する質問-回答ループを通じて、インタラクティブでイテレーティブな検索を可能にすること。
• グラフの包含関係とアテンションベースのマッチングを用いて、検索を戦略的探索問題としてモデル化すること。
• CLEVRベンチマーク上で、ワンショットおよびインタラクティブな検索の両方を想定したニューラルシンボリックアプローチの実現可能性を示すこと。

提案手法

• オブジェクトの属性（色、形状）および空間的関係を用いて、カタログ画像とクエリキャプションの両方をシーングラフとして表現する。
• すべての画像のシーングラフを統合して「カタロググラフ」を構築し、ノードおよびエッジのインバースインデックスを用いて効率的な検索を可能にする。
• SPICEフレームワークを用いて入力キャプションを「クエリグラフ」に解析し、未知の属性にはゼロ埋めを適用する。
• 重み付きフロベニウス距離を用いてノードおよびトリプルの包含スコアを定義し、重みはクエリに属性が存在するかどうかに基づく。
• カタロググラフ上のアテンションマップを用いて、各画像の行動確率を計算し、最良マッチングのノードおよびトリプルに基づく。
• ゴールと取得された画像表現間の正規化L2距離に基づく報酬関数を用いて、REINFORCEアルゴリズムで検索ポリシーを訓練する。

実験結果

リサーチクエスチョン

• RQ1 シーングラフに基づくニューラルシンボリックアプローチは、不完全または不十分なキャプション下でのワンショット画像検索を改善できるか？
• RQ2 アテンションベースのマッチングを用いたグラフの包含関係は、大規模カタログからの正しい画像の検索にどの程度効果的か？
• RQ3 提案されたフレームワークは、質問-回答ループを介して複数回のターンにわたるクエリグラフの精緻化を可能にするように拡張可能か？
• RQ4 クエリから重要な属性や関係が欠落している場合、モデルの性能はどの程度か？
• RQ5 学習可能な質問選択ポリシーと回答モジュールの統合は、戦略的プローブによる検索空間の縮小を改善できるか？

主な発見

• 完全なシーングラフが入力として与えられた場合、モデルは99.9%の検索精度を達成する。
• クエリから20%のノードが削除された場合、精度は89%に低下するが、部分的または不完全な記述に対しても頑健であることを示している。
• ノードの30%が欠落している場合、精度は75%に低下するが、これは顕著な情報損失に対してもモデルの耐性を示している。
• 質問-回答ループを統合することで、複数ターンにわたるクエリグラフの精緻化が可能となる自然な拡張がフレームワークで実現されている。
• 学習可能なポリシーによる質問選択により、戦略的プローブによって検索空間の縮小が効率的に行える。
• スパarsな報酬下でもREINFORCEベースの訓練スキームが検索ポリシーの最適化に効果的に機能しており、情報欠落時の性能低下からもその有効性が示されている。