[論文レビュー] Learning Global and Local Consistent Representations for Unsupervised Image Retrieval via Deep Graph Diffusion Networks

Zhiyong Dou, Haotian Cui+2 more|arXiv (Cornell University)|Jan 5, 2020

Advanced Graph Neural Networks参考文献 46被引用数 6

ひとこと要約

本稿では、自己教師付き損失関数を用いたグラフニューラルネットワーク（GNN）を活用することで、非教師あり画像検索のためのグローバルおよびローカルに一貫した表現を学習する、深層グラフ拡散ネットワークであるGRAD-Netを提案する。この手法は、未学習のクエリに対するスケーラブルで帰納的（inductive）な推論を可能にし、大規模ベンチマークにおいて最先端の拡散手法を上回り、クエリ拡張を用いることでOxford5kで96.05 mAPを達成した。

ABSTRACT

Diffusion has shown great success in improving accuracy of unsupervised image retrieval systems by utilizing high-order structures of image manifold. However, existing diffusion methods suffer from three major limitations: 1) they usually rely on local structures without considering global manifold information; 2) they focus on improving pair-wise similarities within existing images input output transductively while lacking flexibility to learn representations for novel unseen instances inductively; 3) they fail to scale to large datasets due to prohibitive memory consumption and computational burden due to intrinsic high-order operations on the whole graph. In this paper, to address these limitations, we propose a novel method, Graph Diffusion Networks (GRAD-Net), that adopts graph neural networks (GNNs), a novel variant of deep learning algorithms on irregular graphs. GRAD-Net learns semantic representations by exploiting both local and global structures of image manifold in an unsupervised fashion. By utilizing sparse coding techniques, GRAD-Net not only preserves global information on the image manifold, but also enables scalable training and efficient querying. Experiments on several large benchmark datasets demonstrate effectiveness of our method over state-of-the-art diffusion algorithms for unsupervised image retrieval.

研究の動機と目的

• 既存の拡散ベースの非教師あり画像検索手法が有する限界、すなわちローカル構造に依存し、帰納的一般化が不十分であり、スケーリングに劣ることを是正すること。
• 非教師ありでエンドツーエンドの方法により、画像多様体のグローバルおよびローカルな幾何的構造を統合的に学習すること。
• 完全なグラフ上で再計算を行わず、未学習のクエリに対する効率的で帰納的な推論を可能にすること。
• スパースコーディングとミニバッチGNN学習を用いることで、大規模データセットにおけるメモリおよび計算コストを低減すること。

提案手法

• GRAD-Netは、局所的近傍構造とグローバル多様体構造の両方をモデル化することで、GNNを用いて画像表現を学習する。
• 拡散プロセスを直接にエンコードする2つの自己教師付き損失関数を用い、ラベルなしデータでのエンドツーエンド学習を可能にしている。
• スパースコーディング技術を統合することで、グローバル多様体情報の保持と同時に、効率的でスケーラブルな学習および推論を実現している。
• 未学習のクエリ特徴を学習済み潜在空間に射影するクエリ特徴拡張（QFE）を介した帰納的学習をサポートしている。
• faissによる切断付きグラフ構築により、k-NNグラフの構築を高速化し、メモリおよび計算のオーバーヘッドを低減している。
• スパースグラフ上のミニバッチ学習により、線形時間計算量O(N)を達成し、GRAD-Netが大規模データセットにスケーラブルであることを保証している。

実験結果

リサーチクエスチョン

• RQ1 深層グラフ拡散ネットワークは、非教師ありの枠組みで、画像多様体のローカルおよびグローバルな幾何的構造を効果的に捉えることができるか？
• RQ2 GRAD-Netは、完全なグラフの再計算を回避することで、未学習のクエリに対して帰納的に一般化できるか？
• RQ3 スパースコーディングとGNNの統合により、大規模画像検索データセットにおけるスケーラブルな学習と推論が可能になるか？
• RQ4 従来の拡散法およびニューラルネットワークベースの非教師あり検索手法と比較して、GRAD-Netは性能および効率において優れているか？

主な発見

• クエリ拡張を用いることで、Oxford5kで96.05 mAPを達成し、以前の最先端手法（Efficient Diffusion：89.6 mAP）を顕著に上回った。
• モデルは線形時間計算量O(N)を示し、10,000件までのデータセットで切断なしで学習可能であり、スケーラブルなメモリ使用量を実現した。
• 切断を適用した場合、メモリ消費量を顕著に低減でき、GSSがこの規模（21,000件）で失敗するのに対し、GRAD-NetはOOM（メモリ不足）エラーを回避した。
• QFE手法により、未学習のクエリに対して効果的な帰納的推論が可能となり、2回の適用でmAPが96.01から96.05に向上した。
• GRAD-Netの学習時間はデータセットサイズに比例して線形に増加し、GSSなどの類似GNNベース手法よりも前方伝搬が高速であった。