[論文レビュー] Attribute-Graph: A Graph based approach to Image Ranking

Nikita Prabhu, R. Venkatesh Babu|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Sep 22, 2015

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 8

ひとこと要約

本稿では、画像の意味的類似性を向上させるために中間レベルの意味的属性、オブジェクトのトポロジー、シーンの文脈を統合したグラフベースの画像表現であるAttribute-Graphを提案する。局所的オブジェクト特徴、グローバルなシーン属性、空間的関係をエッジで符号化することで、rPascalおよびrImageNetのベンチマークで最先端の性能を達成し、従来手法に比べてnDCGを5–12%向上させた。

ABSTRACT

We propose a novel image representation, termed Attribute-Graph, to rank images by their semantic similarity to a given query image. An Attribute-Graph is an undirected fully connected graph, incorporating both local and global image characteristics. The graph nodes characterise objects as well as the overall scene context using mid-level semantic attributes, while the edges capture the object topology. We demonstrate the effectiveness of Attribute-Graphs by applying them to the problem of image ranking. We benchmark the performance of our algorithm on the 'rPascal' and 'rImageNet' datasets, which we have created in order to evaluate the ranking performance on complex queries containing multiple objects. Our experimental evaluation shows that modelling images as Attribute-Graphs results in improved ranking performance over existing techniques.

研究の動機と目的

• 低レベル特徴やテキストクエリに依存するため、意味的類似性を捉えきれない既存の画像検索手法の限界を解消すること。
• 局所的（オブジェクト）およびグローバル（シーン文脈）な意味的特徴に加え、オブジェクト間の関係を含む、統合的な画像表現の開発。
• 複数のオブジェクトや空間的配置を含む複雑なクエリにおける画像ランク付け性能の向上。
• 新しく作成されたベンチマークデータセットrPascalおよびrImageNetを用いて、提案手法の評価。

提案手法

• ノードがオブジェクト（形状、テクスチャ、外観などの局所的属性）およびグローバルシーン（gist、ムード、設定などのグローバル属性）を表す無向かつ完全に接続されたグラフを構築。
• エッジを用いてオブジェクト間の空間的関係（相対的位置、方向、構造的レイアウト）を符号化し、トポロジカルな文脈を捉える。
• クエリ画像のAttribute-Graphとデータベース画像のグラフとの間でグラフマッチングを実行し、意味的類似度を計算してランク付けを実現。
• オブジェクトの顕著性と関連性に基づいてノードに重みを付与し、類似度計算における識別力を向上。
• グラフカーネルまたはマッチングアルゴリズム（類似度計算に暗黙的に使用）を用いて、クエリとデータベースのグラフを効率的に比較。
• オブジェクトおよび属性にインverted indexを適用することで、データベースサイズに線形にスケーリング可能となり、効率的な検索を実現。

実験結果

リサーチクエスチョン

• RQ1 意味的属性と空間的関係を統合したグラフベースの画像表現は、既存手法を上回る意味的画像ランク付け性能を達成できるか？
• RQ2 グローバルシーン属性とオブジェクトレベルの属性は、複雑なクエリにおけるランク付け性能向上にどのように寄与するか？
• RQ3 エッジを用いてオブジェクトのトポロジーをモデル化することで、空間的レイアウトを無視する手法に比べて、意味的類似度測定がどの程度向上するか？
• RQ4 複数のオブジェクトを含む実世界の複雑なクエリに対して、シーン文脈やオブジェクト関係を無視するベースライン手法と比較して、提案手法はどの程度の性能を示すか？

主な発見

• 提案手法のAttribute-Graphは、rPascalデータセットにおいてCaoらおよびDouzeらに比べてnDCG@kで5–8%の向上を達成した。
• より複雑なrImageNetデータセットでは、Caoらに比べてnDCGを9–11%、Douzeらに比べて8%向上させ、クエリの複雑さに強い性能を示した。
• アブレーションスタディの結果、オブジェクトノードを削除すると性能が最も大きく低下し、rPascalで7%、rImageNetで12%の低下を示した。これはオブジェクトノードの重要性を示している。
• グローバル属性、エッジ、ノードの重要度重みのいずれを削除しても性能が低下し、各コンポonentが全体のランク付け精度に寄与していることが確認された。
• 誤検出は主に参照画像の検出および分類エラーに起因しており、誤検出例の分析からグラフマッチング機構自体が原因ではないことが示された。
• 本手法はデータベースサイズに線形にスケーリング可能であり、オブジェクトおよび属性にインverted indexを適用することで、さらに高速化が可能である。