[논문 리뷰] TextureNet: Consistent Local Parametrizations for Learning from High-Resolution Signals on Meshes

Jingwei Huang, Haotian Zhang외 4명|arXiv (Cornell University)|2018. 11. 30.

3D Shape Modeling and Analysis참고 문헌 43인용 수 4

한 줄 요약

TextureNet는 3D 메시 표면 위의 고해상도 신호에서 방향 불변성 컨볼루션을 가능하게 하는 일관적인 4-회전 대칭(4-RoSy) 필드를 활용하는 새로운 딥러닝 아키텍처를 제안한다. 일관된 국소 파arametrization을 갖는 지오데식 이웃 영역을 정의함으로써, 3D 세분화에서 최신 기술 수준(SOTA) 성능을 달성하며, 기하학적 정보만을 사용할 경우 6.4% 향상되고, RGB+기하학적 정보 조합에서는 6.9–8.2% 향상된다.

ABSTRACT

We introduce, TextureNet, a neural network architecture designed to extract features from high-resolution signals associated with 3D surface meshes (e.g., color texture maps). The key idea is to utilize a 4-rotational symmetric (4-RoSy) field to define a domain for convolution on a surface. Though 4-RoSy fields have several properties favorable for convolution on surfaces (low distortion, few singularities, consistent parameterization, etc.), orientations are ambiguous up to 4-fold rotation at any sample point. So, we introduce a new convolutional operator invariant to the 4-RoSy ambiguity and use it in a network to extract features from high-resolution signals on geodesic neighborhoods of a surface. In comparison to alternatives, such as PointNet based methods which lack a notion of orientation, the coherent structure given by these neighborhoods results in significantly stronger features. As an example application, we demonstrate the benefits of our architecture for 3D semantic segmentation of textured 3D meshes. The results show that our method outperforms all existing methods on the basis of mean IoU by a significant margin in both geometry-only (6.4%) and RGB+Geometry (6.9-8.2%) settings.

연구 동기 및 목표

• 기존 3D 딥러닝 방법에서 미사용되는 고해상도 신호(예: 색상 텍스처)를 3D 표면 메시에서 학습하는 데 도전한다.
• 낮은 해상도 표현에서 작동하는 기존 3D CNN의 한계를 극복하여 세분화 해상도를 높이기 위한 기반을 마련한다.
• 임의의 3D 메시에서 지오데식 이웃 영역에 걸쳐 일관되고 낮은 왜곡을 갖는 파arametrization 방법을 개발한다.
• 4-RoSy 필드에서 발생하는 4중 회전 불확실성에 대해 불변인 새로운 컨볼루션 연산자를 설계하여 표면 신호에서 강력한 특징 학습을 가능하게 한다.
• 고해상도 메시 신호를 사용한 3D 세분화에서 제안된 아키텍처의 우수성을 입증하며, 이전 방법들을 능가하는 성능을 확보한다.

제안 방법

• 메시 표면에 4-RoSy 필드를 계산하기 위해 QuadriFlow를 활용하여 지오데식 이웃 영역에서 낮은 왜곡, 일관성 있고 특이점이 최소화된 파arametrization을 제공한다.
• 4-RoSy 필드를 기반으로 각 메시 정점 주변에 국소 지오데식 패치를 정의하고, 각 패치에 4중 회전에 대해 불변인 일관된 국소 좌표계를 할당한다.
• 4개의 필드 방향에 걸쳐 3x3 필터를 적용하고 최대 풀링을 통해 특징을 집계하는 4-RoSy 컨볼루션 연산자를 도입하여 방향 불변성을 확보한다.
• 기하학적 정보와 고해상도 신호(예: RGB 텍스처)에서 계층적 특징을 추출하기 위해 스택된 4-RoSy 컨볼루션 레이어로 구성된 UNet 유사 아키텍처인 TextureNet을 구축한다.
• 정점 위치, 법선, 텍스처 패치를 포함한 입력 특징을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 네트워크를 훈련시킨다.
• 훈련 효율성을 확보하기 위해 국소 파arametrization을 사전 계산하여 표준 지오데식 CNN과 유사한 성능을 유지하면서도 고해상도 신호 처리가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 4-RoSy 필드를 통한 일관된 국소 파arametrization은 기존 3D CNN에 비해 고해상도 메시 신호에서 특징 학습에 어떤 영향을 미치는가?
• RQ2 4-RoSy 컨볼루션 연산자의 4중 회전 불변성이 3D 세분화 작업 성능에 어떤 영향을 미치는가?
• RQ3 기하학적 특징과 함께 고해상도 표면 신호(예: 색상 텍스처)를 사용할 경우 세분화 정확도 향상 정도는 어느 정도인가?
• RQ4 기존의 다른 컨볼루션 연산자(예: GCNN, ACNN, RoSy)와 비교했을 때 제안된 방법은 특징 일관성과 세분화 정확도 측면에서 어떤가?
• RQ5 제안된 아키텍처는 기하학적 정보만을 입력으로 사용할 경우에도 최신 기술 수준의 3D 세분화 성능을 유지할 수 있는가?

주요 결과

• 기하학적 정보만을 사용하여 ScanNet 벤치마크에서 평균 IoU 50.6%를 달성하였으며, 이는 이전 최고 성능(SOTA)보다 6.4% 향상된 결과이다.
• RGB와 기하학적 특징을 함께 사용할 경우 평균 IoU 54.8%를 기록하여, RGB+기하학적 조합 설정에서 이전 방법보다 6.9–8.2% 향상되었다.
• 10×10 크기의 고해상도 텍스처 패치를 포함시켰을 때, 단일 정점의 법선과 색상 정보만을 사용한 경우보다 평균 IoU가 3.3% 향상되었다.
• 제거 분석 결과, 4-RoSy 필드를 통한 일관된 방향성 확보가 핵심임을 입증하였다. 4개의 방향에 대해 최대 풀링을 적용하는 RoSy 4(m)가 방향 불변성 측면에서 더 우수하여 RoSy 4와 RoSy 1을 능가하였다.
• 고해상도 텍스처를 사용할 경우 4-RoSy 컨볼루션 연산자가 특징의 일관성을 크게 향상시켰으며, 이는 책장(71.3%)과 그림(21.1%)과 같은 세분화 클래스에서 뚜렷한 성능 향상을 보였다.
• 사전 계산된 국소 파arametrization 덕분에 표준 지오데식 CNN과 유사한 훈련 효율성을 확보하여, 고해상도 입력임에도 불구하고 확장 가능한 성능을 발휘한다.