[논문 리뷰] Dual Geometric Graph Network (DG2N) -- Iterative network for deformable shape alignment

Dvir Ginzburg, Dan Raviv|arXiv (Cornell University)|2020. 11. 30.

3D Shape Modeling and Analysis참고 문헌 87인용 수 4

한 줄 요약

이 논문은 비정적 형태 대칭화를 위해 이중 그래프 구조(전방 및 후방 매핑용)에서 노이즈 제거 과정을 펼쳐내는 학습 가능한 반복적 그래프 신경망인 이중 기하학적 그래프 네트워크(DG2N)를 제안한다. 이 방법은 메시와 포인트 클라우드 모두에서 비정적 형태 정렬 벤치마크에서 최신 기술 수준의 성능을 달성하며, 심각한 비이sov메트릭 변형 조건에서도 평균 지오데식 오차 5.9(FAUST 리메쉬) 및 11.0(제로샷 설정)을 기록한다.

ABSTRACT

We provide a novel new approach for aligning geometric models using a dual graph structure where local features are mapping probabilities. Alignment of non-rigid structures is one of the most challenging computer vision tasks due to the high number of unknowns needed to model the correspondence. We have seen a leap forward using DNN models in template alignment and functional maps, but those methods fail for inter-class alignment where nonisometric deformations exist. Here we propose to rethink this task and use unrolling concepts on a dual graph structure - one for a forward map and one for a backward map, where the features are pulled back matching probabilities from the target into the source. We report state of the art results on stretchable domains alignment in a rapid and stable solution for meshes and cloud of points.

연구 동기 및 목표

• 기존 딥 러닝 방법이 실패하는 심한 비이sov메트릭 변형 조건에서 비정적, 이종 형태 정렬 문제를 해결한다.
• 지표가 없는 지도 없이 초기 대응 매트릭스를 정제할 수 있는 자기지도형, 제로샷 프레임워크를 개발한다.
• 노이즈가 많거나 비정규적, 토폴로지가 변하는 입력(예: 포인트 클라우드)을 다루는 데에서 스펙트럼 및 템플릿 기반 방법의 한계를 극복한다.
• 학습 가능한 반복적 그래프 노이즈 제거 파이프라인을 통해 안정적이고 빠른 수렴을 통해 깔끔한 소프트 대응 매트릭스를 확보한다.
• 양방향 매핑 확률 기반의 이중 그래프 구조를 사용해 메시와 포인트 클라우드 데이터에 대한 통합 프레임워크를 제공한다.

제안 방법

• 소스에서 타겟으로의 전방 매핑과 타겟에서 소스로의 후방 매핑을 위한 두 개의 병렬 그래프 구조를 갖는 이중 기하학적 그래프 네트워크(DG2N)를 구축한다. 이 두 구조 모두 소프트 대응 확률 기반으로 구성된다.
• 특정 DGAT 어텐션 모듈을 갖춘 그래프 컬러리션 네트워크(GCNs)를 사용하여 노드 간 특징을 집계하며, 이 특징은 타겟 형상으로부터 다시 끌어올린 대응 가능성 확률을 나타낸다.
• 초기 소프트 대응 매트릭스를 반복적으로 노이즈 제거하는 데 사용되는 다중 블록 잔여 구조로 정제 과정을 펼쳐낸다. 이 과정은 손실 함수의 조합을 통해 이루어진다.
• 네 가지 핵심 손실 항목을 통합한다: L1, L2, LAG(정렬 손실), 일致성 손실. 이는 노이즈 제거 과정을 정규화하고 이중성 일致성을 강제한다.
• 노드 특징이 이웃 집합 기반으로 업데이트되는 그래프 기반 메시지 전달 메커니즘을 활용한다. 엣지 구축은 포인트 클라우드의 경우 k-최근접 이웃 또는 메시의 삼각 분할을 통해 이루어진다.
• 지표가 없는 지도 없이 초기 대응 매트릭스만을 입력으로 사용하는 엔드 투 엔드 자기지도 학습 방식으로 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 이중 그래프 구조가 큰 변형 조건에서 비정적 형태 정렬의 양방향 대응 가능성 확률을 효과적으로 모델링할 수 있는가?
• RQ2 소프트 대응 매트릭스에 대한 반복적 그래프 기반 노이즈 제거 방식이 기존 방법 대비 정확도와 내성 면에서 어떻게 우월한가?
• RQ3 지표가 없는 지도 없는 제로샷 프레임워크가 지표가 있는 대응 애너테이션 없이 최신 기술 수준의 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 GNN 아키텍처(GCN, GAT, DGCNN)와 손실 구성 요소가 DG2N의 최종 정렬 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 메시와 포인트 클라우드와 같은 다양한 모odal리티와 토폴로지 변화(비이sov메트릭 및 이종 형태 쌍)에 일반화될 수 있는가?

주요 결과

• DG2N는 FAUST 리메쉬 벤치마크에서 평균 지오데식 오차(MGE) 5.9를 기록하며, 이는 SURFMNet(36.2)과 Cyclic-FMNet(14.1)을 포함한 모든 이전 비지도 방법을 능가한다.
• 제로샷 설정에서 DG2N는 FAUST-리메쉬에서 평균 지오데식 오차를 11.0으로 줄였으며, 다음으로 우수한 방법(Cyclic-FMnet)보다 3.1 단위 높은 성능을 기록했다.
• 제거 실험 결과, L1, L2, LAG 및 일치성 손실의 네 가지 손실 함수 모두 필수적임을 확인했으며, 어느 하나라도 제거할 경우 성능 저하가 심각하게 발생한다(예: Ll2 제거 시 MGE가 5.9에서 6.7로 증가).
• DGAT 모듈을 표준 GAT 또는 GCN로 교체할 경우 성능이 급격히 저하된다(예: GAT: 14.3 MGE 대비 DG2N: 5.9), 이는 제안된 어텐션 메커니즘이 매우 중요함을 보여준다.
• ShapeNet(의자, 자동차, 항공기)의 포인트 클라우드 정렬에서 DG2N는 매끄럽고 일관성 있고 강건한 대응 매트릭스를 생성하며, 노이즈가 많은 라플라시안 분해로 인해 실패하는 스펙트럼 및 재구성 기반 기준선을 능가한다.
• 비이sov메트릭 변형과 토폴로지 변화에 대해 강건하며, SURREAL, SMAL, TOSCA 데이터셋에서 다양한 클래스 간 및 다양한 포인트 수를 가진 형태 간 정렬을 성공적으로 수행한다.