[논문 리뷰] DS++: A flexible, scalable and provably tight relaxation for matching problems

Nadav Dym, Haggai Maron외 1명|arXiv (Cornell University)|2017. 05. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 10

한 줄 요약

DS++는 순열 위에서 이차 매칭 문제를 위한 새로운 볼록 이차계획법 허용을 제안하며, 스펙트럼과 이중으로 스케일링된(DS) 허용을 조합하여 증명 가능하게 더 엄격하고 확장 가능한 방법을 제공한다. 이는 DS 및 스펙트럼 허용보다 뛰어난 정확도를 달성하면서도 O(n²) 복잡도를 유지하며, 정수 순열을 복원하기 위해 호모토피 기반 투영을 사용하여 표준 투영 기법을 능가한다.

ABSTRACT

Correspondence problems are often modelled as quadratic optimization problems over permutations. Common scalable methods for approximating solutions of these NP-hard problems are the spectral relaxation for non-convex energies and the doubly stochastic (DS) relaxation for convex energies. Lately, it has been demonstrated that semidefinite programming relaxations can have considerably improved accuracy at the price of a much higher computational cost. We present a convex quadratic programming relaxation which is provably stronger than both DS and spectral relaxations, with the same scalability as the DS relaxation. The derivation of the relaxation also naturally suggests a projection method for achieving meaningful integer solutions which improves upon the standard closest-permutation projection. Our method can be easily extended to optimization over doubly stochastic matrices, partial or injective matching, and problems with additional linear constraints. We employ recent advances in optimization of linear-assignment type problems to achieve an efficient algorithm for solving the convex relaxation. We present experiments indicating that our method is more accurate than local minimization or competing relaxations for non-convex problems. We successfully apply our algorithm to shape matching and to the problem of ordering images in a grid, obtaining results which compare favorably with state of the art methods. We believe our results indicate that our method should be considered the method of choice for quadratic optimization over permutations.

연구 동기 및 목표

• NP-난이도의 이차 매칭 문제를 위한 허용 방법에서 정확도와 확장성 간의 상충 관계를 해결한다.
• 스펙트럼 및 이중으로 스케일링된(DS) 허용보다 증명 가능하게 더 강력한 볼록 허용을 개발한다.
• 부분 매칭 또는 단사 매칭과 같은 추가 제약 조건이 있는 비볼록 및 볼록 매칭 문제를 효율적으로 해결할 수 있도록 한다.
• 표준 유클리드 투영보다 향상된 성능을 보이는 정수 순열을 복원하기 위한 견고한 투영 방법을 설계한다.
• 형태 매칭 및 이미지 배열 작업에서 최신 기술 수준의 성능을 달성하면서도 경쟁 가능한 실행 시간을 확보한다.

제안 방법

• 스펙트럼과 DS 허용의 교차로 DS++를 유도하여 O(n²) 변수와 제약 조건을 가진 더 엄격한 볼록 이차계획법을 형성한다.
• 정교한 스펙트럼 분석을 활용하여 허용을 향상시켜, DS 및 스펙트럼 방법보다 증명 가능하게 더 엄격한 공식화를 얻는다.
• 에너지가 볼록에서 오목으로 연속적으로 변형되는 호모토피 유형의 투영 방법을 사용하여 타당한 순열로 수렴함을 보장한다.
• 최근의 선형 할당 솔버 기술을 통합하여 DS++ 허용을 효율적으로 해결함으로써 확장성을 확보한다.
• 선형 항, 부분 매칭, 이중으로 스케일링된 행렬 위에서의 최적화와 같은 추가 제약 조건을 처리할 수 있도록 프레임워크를 확장한다.
• GW 또는 로그-GW 에너지와 같은 구조적 행렬의 경우 효율적인 행렬-벡터 곱(O(n³))을 활용하여 계산을 추가로 가속화한다.

실험 결과

연구 질문

• RQ1 스케일러빌리티를 희생시키지 않고 스펙트럼 및 DS 허용보다 증명 가능하게 더 엄격한 허용을 구성할 수 있는가?
• RQ2 제안된 DS++ 허용은 SDP 기반 방법을 포함한 기존 허용과 비교해 엄격함과 정확도에서 어떻게 다른가?
• RQ3 호모토피 기반 투영 방법이 볼록 허용에서 정수 해를 복원할 때 표준 유클리드 투영보다 우월한가?
• RQ4 DS++는 비볼록 에너지, 선형 제약 조건, 부분/단사 매칭을 얼마나 잘 확장할 수 있는가?
• RQ5 특히 행렬-벡터 곱이 최적화된 경우, DS++는 대규모 매칭 문제에서 얼마나 효율적인가?

주요 결과

• DS++는 스펙트럼 및 DS 허용보다 증명 가능하게 더 엄격하며, 이론적으로 두 허용의 교차와 동일하다.
• n = k = 100인 경우 DS++는 26초 내에 해결되며, n = 160, k = 150인 경우 약 2분이 소요되어 강력한 확장성을 보여준다.
• GW 에너지의 경우 효율적인 행렬-벡터 곱을 활용하면, n = 1000, k = 1000인 경우 약 6분 내에 해결되어 대규모 인스턴스에서 높은 효율성을 보인다.
• 호모토피 기반 투영 방법은 정수 해를 복원할 때 표준 최접근순열 투영보다 일관되게 뛰어난 성능을 보였다.
• FAUST 데이터셋에서의 형태 매칭 작업에서, DS++는 위상적 노이즈가 존재하는 비정상적인 대응 관계를 성공적으로 복원했으며, 최신 기술 수준의 방법을 능가했다.
• 딥 러닝 특징을 활용한 이미지 배열 작업에서, DS++는 유사한 이미지를 잘 군집화하고 2차원 조명 필드를 정확히 복원했으며, 정성적 결과에서 이를 확인할 수 있었다.