[論文レビュー] All Graphs Lead to Rome: Learning Geometric and Cycle-Consistent Representations with Graph Convolutional Networks

Stephen Phillips, Kostas Daniilidis|arXiv (Cornell University)|Jan 7, 2019

Advanced Image and Video Retrieval Techniques参考文献 30被引用数 9

ひとこと要約

本稿では、ペairワイズな対応関係から幾何的およびサイクル整合的表現を学習することで、教師なしのマルチ画像特徴マッチングのためのグラフ畳み込みネットワーク（GCN）ベースの手法を提案する。教師なしラベルが不要な状況でも、サイクル整合性と幾何的制約を損失信号として用いることで、最適化ベースのベースラインと同等の精度を達成しつつ、推論時に1回の順伝播で大幅に高速化される。

ABSTRACT

Image feature matching is a fundamental part of many geometric computer vision applications, and using multiple images can improve performance. In this work, we formulate multi-image matching as a graph embedding problem then use a Graph Convolutional Network to learn an appropriate embedding function for aligning image features. We use cycle consistency to train our network in an unsupervised fashion, since ground truth correspondence is difficult or expensive to aquire. In addition, geometric consistency losses can be added at training time, even if the information is not available in the test set, unlike previous approaches that optimize cycle consistency directly. To the best of our knowledge, no other works have used learning for multi-image feature matching. Our experiments show that our method is competitive with other optimization based approaches.

研究の動機と目的

• 複数の画像にわたるペアワイズ特徴マッチングにおけるグローバルな不整合の課題に、サイクル整合性を強制することで対処する。
• マルチビュー特徴マッチングのための深層ネットワークの学習において、高価で手作業によるラベル付き対応関係の必要性を克服する。
• 訓練時に幾何的整合性損失（例：エピポーラ制約）を統合するが、テスト時にはその情報が不要であるように設計する。
• 対応関係グラフに直接作用する深層学習フレームワークを構築し、多様な画像セットに対して頑健な特徴マッチングを可能にする。
• 単純なGCNに教師なしのサイクル整合性損失を適用するだけで、複雑な最適化ベース手法と同等またはそれを上回る精度を達成しつつ、推論速度が著しく速いことを実証する。

提案手法

• ノードを画像特徴、エッジを一時的な対応関係として持つ対応関係グラフを用いて、マルチ画像特徴マッチングをグラフ埋め込み問題として定式化する。
• ReLU活性化関数とスキップ接続を備えた12層のグラフ畳み込みネットワーク（GCN）を適用し、隣接行列の低次元でサイクル整合的な埋め込みを学習する。
• GCN出力から導出された類似度行列と元のノイズの多い入力隣接行列を比較する再構成損失を用いて、教師データが不要な状態でGCNを訓練する。
• 訓練時に幾何的整合性損失（例：エピポーラ制約）を統合することで、耐障害性を向上させるが、テスト時にはその情報が不要である。
• ソフトラベル評価プロトコルを用い、バンドル調整による3次元再構成から得られた真値隣接行列と出力を比較する。
• 入力層、6層目、12層目の間のスキップ接続を活用することで、訓練の安定性と収束性、および性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師なしのGCNベース手法は、真値対応関係が不要な状況でも、幾何的に整合的かつサイクル整合的な特徴表現を学習できるか？
• RQ2 テスト時に利用不可であっても、幾何的整合性損失（例：エピポーラ制約）が、GCNの訓練にどの程度寄与するか？
• RQ3 精度と推論速度の観点から、学習されたGCNベース手法は、従来の最適化ベースのサイクル整合性手法と比べてどの程度優れているか？
• RQ4 最小限のアーキテクチャ複雑性（例：12層）を持つ深層GCNアーキテクチャは、Rome16Kのような実世界データセットで競争力のある結果を達成できるか？
• RQ5 GCNアーキテクチャにおけるスキップ接続の使用は、マルチ画像マッチングタスクにおける訓練の安定性と最終的な性能に顕著な向上をもたらすか？

主な発見

• GCNモデルは、高いノイズを含む合成グラフの真の構造を高精度で回復でき、初期記述子のノイズに強く頑健であることが示された。
• Rome16Kデータセットにおいて、本手法は25〜50イタレーションを要するMatchALSと同等の精度を達成しているが、推論時に1回の順伝播で実現している。
• マッチング品質と一貫性の観点で、単純なスペクトルベースのベースラインを著しく上回っている。
• PGDDS手法の精度を上回ることはなかったが、推論時間が著しく速く、著しい高速化を達成している。
• スキップ接続の導入により、訓練収束性と最終的な性能が向上しており、補足資料でもその有効性が裏付けられている。
• Hinton図による学習済み埋め込みの可視化から、回転を適切に処理することで真値と整合性の高い解釈可能な低ランク表現が学習されていることが示された。