[논문 리뷰] A Simple Approach to Intrinsic Correspondence Learning on Unstructured 3D Meshes

Isaak Lim, Alexander Dielen외 2명|arXiv (Cornell University)|2018. 09. 18.

3D Shape Modeling and Analysis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 RNN 또는 완전 연결 네트워크를 사용하여 국소 정점 이웃을 순차적 표현으로 직접 인코딩함으로써, 구조가 불규칙한 3D 메시에 대한 내재적 대응 학습을 위한 리샘플링이 없는 방법을 제안한다. 이는 전통적인 리샘플링 기법에서 발생하는 정밀도 손실과 계산 오버헤드를 피하면서도, 형태 대응 벤치마크에서 경쟁력 있는 성능을 달성한다 — 몇몇 최신 기법들을 능가한다.

ABSTRACT

The question of representation of 3D geometry is of vital importance when it comes to leveraging the recent advances in the field of machine learning for geometry processing tasks. For common unstructured surface meshes state-of-the-art methods rely on patch-based or mapping-based techniques that introduce resampling operations in order to encode neighborhood information in a structured and regular manner. We investigate whether such resampling can be avoided, and propose a simple and direct encoding approach. It does not only increase processing efficiency due to its simplicity - its direct nature also avoids any loss in data fidelity. To evaluate the proposed method, we perform a number of experiments in the challenging domain of intrinsic, non-rigid shape correspondence estimation. In comparisons to current methods we observe that our approach is able to achieve highly competitive results.

연구 동기 및 목표

• 3D 메시 기반 딥러닝을 통한 형태 대응 학습에서 리샘플링의 필요성을 제거하기 위해.
• 메시 기하구조를 변경하는 전처리 단계를 피하여 계산 효율성과 데이터 정밀도를 향상시키기 위해.
• 직접적인 원시 이웃 인코딩이 패치 기반 리샘플링 기법의 성능을 따라하거나 능가할 수 있는지 평가하기 위해.
• 비정규적이고 불규칙한 메시 데이터에 대해 RNN 기반 모델의 강건성과 일반화 능력을 조사하기 위해.
• 메시 테셀레이션 민감도를 평가하기 위해 FAUST 데이터셋의 표준 및 리메시된 버전 모두에서 방법을 벤치마킹하기 위해.

제안 방법

• 각 중심 정점 주변의 정점들을 나선형 순서로 시리얼라이징하여 국소 메시 이웃을 인코딩함으로써, 리샘플링 없이도 위상적 구조를 유지한다.
• 이 순차적 이웃 데이터를 처리하기 위해 LSTMs 또는 완전 연결 네트워크를 사용하여 비정규적이고 불규칙한 메시 구조를 모델링할 수 있다.
• 모델 입력에 포함되는 기하 기하학적 기술자로는 간선 길이, 각도, 정점 위치 등을 포함하며, 이들은 순서에 연결된다.
• 지오데식 거리와 같은 상대적 거리 정보를 통합하여 메시 테셀레이션 변동에 대한 강건성을 향상시킨다.
• 지표값 대응 관계에 대한 지도 학습 손실을 사용하여 엔드 투 엔드로 훈련하여 점 대 점 대응 예측을 수행한다.
• 메시 연결성이 상호 불일치하는 경우를 시뮬레이션하기 위해 원본 및 리메시된 FAUST 데이터셋 모두에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 직접적인 리샘플링이 없는 3D 메시 이웃 인코딩이 비탄성 형태 대응에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 리샘플링을 피하면 메시 기반 딥러닝에서 데이터 정밀도와 추론 효율성이 향상되는가?
• RQ3 RNN 기반 모델은 이웃 순서의 순서 변경(예: 무작위 나선형 회전)에 대해 얼마나 강건한가?
• RQ4 연결성이 불일치하는 리메시된 데이터에 대해 모델은 일반화 가능한가? (실제 환경 조건을 시뮬레이션함)
• RQ5 상대적 거리 정보를 통합하면 테셀레이션 민감도가 높은 벤치마크에서 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 FAUST 데이터셋에서 경쟁적인 성능을 달성하였으며, 지오데식 오차 지표에서 몇몇 최신 기법들을 능가한다.
• 메시 연결성이 불일치하는 리메시된 FAUST 데이터셋에서도 강력한 성능을 유지하여, 테셀레이션 변동에 대한 강건성을 입증한다.
• 상대적 거리 정보 추가(표기: '++')는 특히 리메시된 데이터에서 성능 향상에 크게 기여하여, 더 향상된 이웃 표현이 됨을 시사한다.
• 무작위 나선형 순서 회전(즉, 순서의 다른 시작점)에 대해 높은 강건성을 보이며, 100개의 예측에서 오차 곡선이 구분되지 않을 정도로 유사하다.
• 리샘플링 단계를 제거함으로써 계산 비용을 감소시키면서도, 리샘플링 기반 기준 모델과 비교해 정확도를 유지하거나 향상시켰다.
• LSTM 기반 네트워크에서 더 긴 순서 길이(예: 30 이상)를 사용할 경우 성능 향상이 관찰되어, richer 이웃 컨텍스트가 대응 학습에 기여함을 시사한다.