[論文レビュー] ClusterGNN: Cluster-based Coarse-to-Fine Graph Neural Network for Efficient Feature Matching

Yan Shi, Junxiong Cai+4 more|arXiv (Cornell University)|Apr 25, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

ClusterGNN は、キーポoinを動的かつ局所的な部分グラフに分割することで、視覚的特徴マッチングにおける計算コストとメモリ使用量を削減する、クラスタベースで粗いから細かい段階へのグラフニューラルネットワークを提案する。この手法により、スーパーグルー（SuperGlue）と比較して、密な検出において 59.7% の高速化と 58.4% のメモリ削減を達成しながら、優れた精度を維持する。

ABSTRACT

Graph Neural Networks (GNNs) with attention have been successfully applied for learning visual feature matching. However, current methods learn with complete graphs, resulting in a quadratic complexity in the number of features. Motivated by a prior observation that self- and cross- attention matrices converge to a sparse representation, we propose ClusterGNN, an attentional GNN architecture which operates on clusters for learning the feature matching task. Using a progressive clustering module we adaptively divide keypoints into different subgraphs to reduce redundant connectivity, and employ a coarse-to-fine paradigm for mitigating miss-classification within images. Our approach yields a 59.7% reduction in runtime and 58.4% reduction in memory consumption for dense detection, compared to current state-of-the-art GNN-based matching, while achieving a competitive performance on various computer vision tasks.

研究の動機と目的

• 視覚的特徴マッチングにおけるアテンションベースの GNN の二次関数的計算量とメモリ消費量を低減すること。
• キーポイントのアテンション行列に内在するスパarsityを活用し、完全グラフにおける冗長なメッセージパッシングを低減すること。
• 局所的な部分グラフを形成する学習可能な段階的クラスタリング戦略を開発し、精度を損なわず効率を向上させること。
• 密な検出ベンチマークで高い効率と競争力のある性能を達成するとともに、多様なコンピュータビジョンタスクにわたる耐性を維持すること。
• 画像全体で段階的にクラスタを精錬することで、誤分類を回避する粗いから細かい段階へのクラスタリング機構を導入すること。

提案手法

• アテンションベースの GNN レイヤーを用いて、最初に完全な画像内および画像間グラフを構築・更新する完全グラフ初期化モジュールを適用する。
• 段階的クラスタリングモジュールを用いて、学習された類似度に基づきキーポイントを階層的に小さな局所的サブグラフに分割し、グローバルな接続性を低減する。
• 各キーポイントが自身のクラスタ内でのみアテンションを行うような局所グラフを構築し、スパースなアテンション計算を可能にすることで冗長性を低減する。
• 粗いから細かい段階の戦略を採用：最初にキーポイントを少数のクラスタにグループ化し、その後再帰的により細かいクラスタに分割することで、誤分類を回避する。
• ドット積とデュアルソフトマックスを用いてマッチング確率を計算するマッチングモジュールを適用し、非マッチングキーポイント用の学習可能なダストビンを導入する。
• 反復的 Sinkhorn を反復なしのデュアルソフトマックスに置き換えることで、マッチング品質を維持しつつ推論速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 キーポイントの動的クラスタリングは、特徴マッチングにおけるアテンションベースの GNN の計算コストとメモリ使用量を低減できるか？
• RQ2 粗いから細かい段階のクラスタリング戦略は、画像内での誤分類を最小限に抑えることでマッチング精度を向上させるか？
• RQ3 クラスタベースのサブグラフにおけるスパースアテンションは、完全グラフアテンションの性能をどの程度近似できるか？
• RQ4 密な検出において、最先端の GNN ベース特徴マッチング（例：SuperGlue）と比較して、本手法の効率性と精度はどの程度か？
• RQ5 固定クラスタ数と動的変動するクラスタ数の間には、性能と効率の観点でどのようなトレードオフがあるか？

主な発見

• Tesla P-100 GPU を用いた密な検出（10,000キーポイント）において、ClusterGNN は SuperGlue と比較して実行時間を 59.7% 減少させ、メモリ使用量を 58.4% 減少させた。
• 相対姿勢推定、ホモロジー推定、視覚的ローカライゼーションタスクにおいて、最先端の精度を達成した。特に InLoc データセットでは (0.25m, 2°) の閾値下で 89.4% / 95.5% / 98.5% の精度を記録した。
• クラスタ数を動的に変化させる（段階的精錬）ことで、固定クラスタ数（16個）よりも顕著に高い性能が得られ、5°の閾値下で 42.62% の精度（固定16クラスタ時：31.26%）を達成した。
• デュアルソフトマックス演算子は、61ms の推論時間と 94MB のメモリ使用量で、精度は同等（5°閾値下で 42.62%）ながら、Sinkhorn よりも高速（68ms）であり、速度面で優れた性能を示した。
• Aachen Day-Night ベンチマークでは、(0.25m, 2°) の閾値下で 88.6% / 95.5% / 98.4% のローカライゼーション精度を達成し、一部の設定で SuperGlue を上回った。
• アブレーションスタディの結果、段階的クラスタリングが不可欠であることが確認された。固定クラスタ数では、特に高い閾値下で性能が著しく低下した。