[論文レビュー] DS++: A flexible, scalable and provably tight relaxation for matching problems

Nadav Dym, Haggai Maron+1 more|arXiv (Cornell University)|May 17, 2017

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 10

ひとこと要約

DS++ は、スペクトル法と二重確率的（DS）緩和を組み合わせた、置換に関する二次的マッチング問題のための新しい凸二次計画緩和法を提案する。これは、理論的により強い緩和であり、スケーラビリティを損なわずに実現された。DS やスペクトル緩和法よりも優れた精度を達成し、O(n²) の複雑度を維持している。また、整数置換を回復するためのホモトピーに基づく射影法を用いて、標準的な射影技術を凌駕する。

ABSTRACT

Correspondence problems are often modelled as quadratic optimization problems over permutations. Common scalable methods for approximating solutions of these NP-hard problems are the spectral relaxation for non-convex energies and the doubly stochastic (DS) relaxation for convex energies. Lately, it has been demonstrated that semidefinite programming relaxations can have considerably improved accuracy at the price of a much higher computational cost. We present a convex quadratic programming relaxation which is provably stronger than both DS and spectral relaxations, with the same scalability as the DS relaxation. The derivation of the relaxation also naturally suggests a projection method for achieving meaningful integer solutions which improves upon the standard closest-permutation projection. Our method can be easily extended to optimization over doubly stochastic matrices, partial or injective matching, and problems with additional linear constraints. We employ recent advances in optimization of linear-assignment type problems to achieve an efficient algorithm for solving the convex relaxation. We present experiments indicating that our method is more accurate than local minimization or competing relaxations for non-convex problems. We successfully apply our algorithm to shape matching and to the problem of ordering images in a grid, obtaining results which compare favorably with state of the art methods. We believe our results indicate that our method should be considered the method of choice for quadratic optimization over permutations.

研究の動機と目的

• NP困難な二次的マッチング問題の緩和法における精度とスケーラビリティのトレードオフに対処すること。
• スペクトル緩和法および二重確率的（DS）緩和法の両方よりも理論的に強い凸緩和法を開発すること。
• 部分的または単射的マッチングなどの追加制約を含む非凸および凸マッチング問題を効率的に解けるようにすること。
• 整数置換を緩和解から回復するための強固な射影法を設計し、標準的なユークリッド射影を凌駆すること。
• 形状マッチングおよび画像アレンジメントタスクにおいて、競争的な実行時間とともに最先端の性能を達成すること。

提案手法

• スペクトル緩和法と DS 緩和法の交差として DS++ を導出することで、O(n²) の変数および制約を有するより緊密な凸二次計画問題を構築する。
• 洗練されたスペクトル解析を活用し、DS 法およびスペクトル法よりも理論的により緊密な定式化を実現する。
• エネルギーを凸から凹へ連続的に変形するホモトピー型の射影法を用い、妥当な置換への収束を保証する。
• 線形割当ソルバーの最新の進展を統合し、DS++ 緩和の効率的解法を実現し、スケーラビリティを向上させる。
• 線形項、部分的マッチング、二重確率的行列上での最適化などの追加制約を処理できるようにフレームワークを拡張する。
• GW や log-GW エネルギーのような構造的行列に対して、O(n³) の効率的な行列-ベクトル積を活用し、計算をさらに高速化する。

実験結果

リサーチクエスチョン

• RQ1 スケーラビリティを損なわず、スペクトル法および DS 緩和法の両方よりも理論的により緊密な緩和を構築できるか？
• RQ2 DS++ 緩和法は、SDPに基づく手法を含め、既存の緩和法と比較して、タイトネスおよび精度においてどのように差をつけるか？
• RQ3 ホモトピーに基づく射影法は、凸緩和から整数解を回復する際、標準的なユークリッド射影を凌駕できるか？
• RQ4 DS++ は非凸エネルギー、線形制約、部分的・単射的マッチングをどの程度まで拡張して処理できるか？
• RQ5 行列-ベクトル積を最適化した場合、DS++ は大規模マッチング問題においてどの程度の計算効率を示すか？

主な発見

• DS++ は、スペクトル緩和法および DS 緩和法の両方よりも理論的により緊密であり、両者の交差と理論的に同等である。
• n = k = 100 の場合、DS++ は 26 秒で解ける。n = 160, k = 150 の場合、約 2 分で解ける。これは、強力なスケーラビリティを示している。
• GW エネルギーなどの効率的な行列-ベクトル積を用いることで、n = 1000, k = 1000 のインスタンスを約 6 分で解ける。大規模インスタンスにおいても高い効率性を示している。
• ホモトピーに基づく射影法は、整数解の回復において、標準的な最近接置換射影法を一貫して上回っている。
• FAUST データセットにおける形状マッチングでは、トポロジー的ノイズが存在する中でも、非剛性対応を正確に回復し、最先端の手法を上回った。
• 深層特徴を用いた画像アレンジメントでは、DS++ は類似画像を適切にクラスタリングし、2次元の照明場を正確に回復しており、定性的な結果で示されている。