[論文レビュー] Deep Graph Matching via Blackbox Differentiation of Combinatorial Solvers

Michal Rolínek, Paul Swoboda+4 more|arXiv (Cornell University)|Mar 25, 2020

Graph Theory and Algorithms参考文献 59被引用数 72

ひとこと要約

本稿では、ブラックボックスな組合せ的グラフマッチングソルバーを統合することで、エンドツーエンド微分可能な深層グラフマッチングアーキテクチャを提案する。このアプローチにより、キーポoin対応ベンチマークで最先端の性能を達成する。高効率に最適化されたラグランジュ分解ソルバーとグローバル特徴量アテンションを組み合わせることで、特に視点差が大きい困難なペアにおいて優れた精度を実現する一方で、マルチグラフマッチングソルバーによる後処理の可能性を維持する。

ABSTRACT

Building on recent progress at the intersection of combinatorial optimization and deep learning, we propose an end-to-end trainable architecture for deep graph matching that contains unmodified combinatorial solvers. Using the presence of heavily optimized combinatorial solvers together with some improvements in architecture design, we advance state-of-the-art on deep graph matching benchmarks for keypoint correspondence. In addition, we highlight the conceptual advantages of incorporating solvers into deep learning architectures, such as the possibility of post-processing with a strong multi-graph matching solver or the indifference to changes in the training setting. Finally, we propose two new challenging experimental setups. The code is available at https://github.com/martius-lab/blackbox-deep-graph-matching

研究の動機と目的

• 高品質な、変更のない組合せ的ソルバーを統合することで、従来の深層グラフマッチング手法が組合せ的ソルバーの品質を犠牲にしているという限界を是正する。
• SplineCNNによる相対的キーポイント位置の統合とアテンション機構によるグローバル画像特徴量の統合により、グラフマッチングにおける特徴表現を向上させる。
• 推論時にマルチグラフマッチングソルバーを用いて複数のグラフマッチングインスタンスを同時に解釈できるようにすることで、より強力な後処理を可能にする。
• 現実的でより困難なシナリオ（例：フィルタリングされていないキーポイント集合、高い視点変化）を想定した、より挑戦的なベンチマーク設定を新たに導入する。
• ブラックボックスな微分可能なソルバーを用いたエンドツーエンド学習が、多様な学習設定において安定した最適化と一般化を可能にすることを実証する。

提案手法

• 最良の組合せ的グラフマッチングソルバー（ラグランジュ分解に基づく双対ブロック座標上昇）をブラックボックスとして微分可能にし、バックプロパゲーションを実行する。
• 視覚的特徴（VGGを介して）と幾何的特徴（SplineCNNを介した相対キーポイント位置）からグラフマッチングインスタンスを構築し、エッジコストは学習された特徴類似度から導出する。
• グローバル画像埋め込みに基づいてノードおよびエッジ特徴量を動的に再重み付けするグローバル特徴量アテンション機構を導入し、視点やスケールの変化に対してロバスト性を向上させる。
• 組合せ的ソルバーの内部論理を変更せずに勾配伝播を可能にする微分可能ラッピングを採用し、エンドツーエンド学習を実現する。
• 推論時にマルチグラフマッチングソルバーを用いて、複数の画像ペアを同時に統合的に最適化することで、一貫性と精度を向上させる。
• 特徴抽出およびコスト計算モジュールにおいて、バッチ正規化、ReLU、スキップ接続といった標準的なディープラーニング技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスな組合せ的グラフマッチングソルバーを、ソルバーの性能を損なわせることなくエンドツーエンド微分可能なディープラーニングパイプラインに統合できるか？
• RQ2 グローバル画像特徴量と相対的な幾何的情報を統合することで、特に大きな視点変化下でもマッチング精度が向上するか？
• RQ3 提案されたアーキテクチャは、標準的および新たに提案されたベンチマークにおいて、既存の微分可能なグラフマッチング手法を上回る性能を示すか、特に困難なシナリオで優位性を示すか？
• RQ4 強力で変更のない組合せ的ソルバーを用いることで、不一致可能なキーポイントに対してもより良い後処理とロバストネスが達成できるか？
• RQ5 本手法は、トランスファーラーニングやゼロショット評価を含む多様な学習設定において、どのように一般化するか？

主な発見

• 提案手法BB-GMは、SPair-71kベンチマークで最先端の性能を達成し、平均精度78.9% ± 0.4を記録。視点差が大きい難易度の高いペアではDGMC（72.2% ± 0.2）を大きく上回った。
• SPair-71kにおいて、BB-GMは全クラスで78.9%の平均精度を達成したのに対し、DGMCは72.2%であり、視点差が大きいペアでは6.7%の絶対的向上を示した。
• Willow ObjectClassベンチマークでは、Willowで微調整した場合、顔（face）とマウンテンバイク（motorbike）クラスでBB-GMは100.0%の精度を達成し、DGMC（98.5%および98.8%）を上回った。
• アブレーションスタディの結果、グローバル特徴量アテンションを削除すると平均精度が80.1%から77.9%に低下し、組合せ的ソルバーの代わりにSinkhorn正規化を用いると77.9%に低下した。これにより、ソルバーとアテンション機構の重要性が示された。
• 本手法は、Pascal VOCからWillowへのゼロショット転移学習など、多様な学習設定においても高い性能を維持しており、学習分布の変化に対してロバストであることが示された。
• アーキテクチャはマルチグラフマッチングソルバーによる効果的な後処理を可能にし、特に曖昧で困難なマッチングにおいて一貫性と精度が顕著に向上した。