[논문 리뷰] Efficient Globally Optimal 2D-to-3D Deformable Shape Matching

Zorah Lähner, Emanuele Rodolà외 3명|arXiv (Cornell University)|2016. 01. 22.

3D Shape Modeling and Analysis참고 문헌 32인용 수 4

한 줄 요약

이 논문은 2D에서 3D로의 비정형 형태 매칭을 위한 전역 최적, 다항 시간 알고리즘을 제안하며, 문제를 2D 및 3D 형태의 곱 3차원 다양체 위의 최단 원형 경로를 찾는 것으로 모델링한다. 최악의 경우 시간 복잡도는 𝒪(mn² log n)이며, 정확한 해와 ε-근사해를 모두 제공하여 비정형 형태(인간 및 고양이 포함, 위상적 변화 수반)에 대해 상태 기반 스키치 기반 3D 형태 검색을 효율적으로 수행한다.

ABSTRACT

We propose the first algorithm for non-rigid 2D-to-3D shape matching, where the input is a 2D shape represented as a planar curve and a 3D shape represented as a surface; the output is a continuous curve on the surface. We cast the problem as finding the shortest circular path on the product 3-manifold of the surface and the curve. We prove that the optimal matching can be computed in polynomial time with a (worst-case) complexity of $O(mn^2\log(n))$, where $m$ and $n$ denote the number of vertices on the template curve and the 3D shape respectively. We also demonstrate that in practice the runtime is essentially linear in $m\!\cdot\! n$ making it an efficient method for shape analysis and shape retrieval. Quantitative evaluation confirms that the method provides excellent results for sketch-based deformable 3D shape retrieval.

연구 동기 및 목표

• 비정형 2D에서 3D로의 형태 매칭을 위한 방법의 부족, 특히 위상적 변화를 수반하는 인간 및 동물과 같은 비정형 형태에 대해 해결한다.
• 2D 쿼리 윤곽선에서 3D 표면 위에 연속적이고 닫힌 매칭 곡선을 계산하는 전역 최적 알고리즘을 개발한다.
• 대규모 형태(최대 40,000개 정점)에 대해 높은 검색 정확도를 유지하면서도 계산 효율성을 확보한다.
• 학습된 대응 관계를 바탕으로 한 강력한 2D에서 3D로의 유사도 기준을 제공함으로써 스키치 기반 3D 형태 검색을 지원한다.

제안 방법

• 문제는 2D 및 3D 형태의 곱 3차원 다양체 위의 최단 원형 경로를 나타내는 에너지 기능의 최소화로 공식화된다.
• 그래프 표현을 기반으로 한 이산적 공식화를 사용하며, 노드는 2D 및 3D 정점의 쌍을 나타낸다.
• 이 알고리즘은 이 그래프 위에서 Dijkstra 알고리즘을 적용하여 최단 경로를 계산하며, 필요에 따라 분기 및 한계 기법을 통해 전역 최적 해를 보장한다.
• 실행 시간을 줄이기 위해 검색 공간을 제한하는 ε-근사 변형을 도입하여 정밀도를 약간 포기함으로써 빠른 성능을 확보한다.
• 2D 및 3D 데이터에 대해 다양한 국소적 특징 기술자를 지원하며, 스펙트럼 특징을 포함하여 의미적으로 유의미한 대응 관계를 가능하게 한다.
• 매칭 에너지를 3D 형태 검색을 위한 유사도 측정 기준으로 사용하여 임베딩 공간에서 효율적인 k-NN 검색을 가능하게 한다.

Figure 2: Examples of correspondences between a cat contour and a 3D cat (left) and human contours and 3D humans (middle and right). The human shape (middle) exhibit a topological change along the hands which is handled well by our method. The contour on the right is handdrawn. The dashed lines deno

실험 결과

연구 질문

• RQ1 비정형 변형과 위상적 변화를 수반하는 비정형 형태에 대해 전역 최적의 2D에서 3D로의 매칭 방법을 설계할 수 있는가?
• RQ2 전역 최적의 2D에서 3D 대응 관계를 계산할 때의 계산 복잡도는 무엇이며, 대규모 형태에 대해서도 실용적으로 적용 가능한가?
• RQ3 ε-근사 해를 사용할 경우 스키치 기반 3D 형태 검색의 성능과 실행 시간에 어떤 영향을 미치는가?
• RQ4 2D 및 3D 형태의 스펙트럼 특징을 효과적으로 비교하여 의미적으로 유의미한 매칭을 가능하게 할 수 있는가?
• RQ5 매칭 에너지가 3D 형태 검색을 위한 신뢰할 수 있는 유사도 측정 기준으로 얼마나 잘 기능하는가?

주요 결과

• 제안된 방법은 2D 및 3D 형태의 정점 수가 각각 m 및 n일 때 최악의 경우 시간 복잡도 𝒪(mn² log n)를 달성한다.
• 전역 알고리즘은 확장된 2D에서 3D 검색 데이터셋에서 평균 정밀도(MAP) 0.9984를 달성하여 Shape DNA(0.4720) 및 공명 세그멘테이션(0.5907)을 능가한다.
• ε-근사 변형은 실행 시간을 크게 줄이며 높은 정확도를 유지하여 동일한 데이터셋에서 MAP 0.9597을 달성한다.
• 손으로 그린 스케치에 대해서도 뛰어난 성능을 유지하며, 인간 형태의 경우 MAP 0.9462, 고양이 형태의 경우 MAP 0.9772를 기록한다.
• 매칭 에너지를 사용한 3D 모델 임베딩은 2차원 공간에서 모든 클래스를 효과적으로 분리하며, 단 하나의 이방자(말이 센티aurus 근처에 위치)를 제외하고는 모두 잘 분리되어 있어 이 방법의 분류 능력이 뛰어나다는 것을 보여준다.
• 이 방법은 사라지거나 가려진 부분이 있는 경우에도 연속적이고 의미적으로 유의미한 대응 관계를 유지함으로써 인간 자세에서의 사지와 같은 위상적 변화를 성공적으로 처리한다.

Figure 3: Matching between a 2D query shape (left) and a 3D target shape achieved by solving a LAP between the same point-wise features our method uses (middle) and our method (right).