[논문 리뷰] 3D Shape Segmentation via Shape Fully Convolutional Networks

Pengyu Wang, Yuan Gan외 5명|arXiv (Cornell University)|2017. 02. 28.

Industrial Vision Systems and Defect Detection인용 수 5

한 줄 요약

이 논문은 삼각형 메쉬를 그래프로 모델링함으로써 삼각형 메쉬 위에서 직접 작동하는 새로운 완전 컨volution 네트워크인 형태 완전 컨볼루션 네트워크(SFCN)를 제안한다. 형태에 특화된 컨볼루션 및 풀링 연산을 도입하여 세 가지 저수준 기하 특징을 사용해 엔드 투 엔드의 삼각형에서 삼각형으로의 학습을 가능하게 하고, SFCN 예측 후 특징 투표 기반 다중 레이블 그래프 컷 최적화를 통해 혼합 카테고리 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We desgin a novel fully convolutional network architecture for shapes, denoted by Shape Fully Convolutional Networks (SFCN). 3D shapes are represented as graph structures in the SFCN architecture, based on novel graph convolution and pooling operations, which are similar to convolution and pooling operations used on images. Meanwhile, to build our SFCN architecture in the original image segmentation fully convolutional network (FCN) architecture, we also design and implement a generating operation} with bridging function. This ensures that the convolution and pooling operation we have designed can be successfully applied in the original FCN architecture. In this paper, we also present a new shape segmentation approach based on SFCN. Furthermore, we allow more general and challenging input, such as mixed datasets of different categories of shapes} which can prove the ability of our generalisation. In our approach, SFCNs are trained triangles-to-triangles by using three low-level geometric features as input. Finally, the feature voting-based multi-label graph cuts is adopted to optimise the segmentation results obtained by SFCN prediction. The experiment results show that our method can effectively learn and predict mixed shape datasets of either similar or different characteristics, and achieve excellent segmentation results.

연구 동기 및 목표

• 이미지의 규칙적인 격자 구조를 갖지 않는 비정규적인 3D 메시 데이터에 완전 컨볼루션 네트워크를 적용하는 데 도전하는 것.
• 이미지 기반 FCN에 유사한 효과적인 특징 학습을 가능하게 하는 그래프 기반 컨볼루션 및 풀링 메커니즘을 설계하는 것.
• 고정된 메시 해상도나 형태 전용 아키텍처가 필요 없이 엔드 투 엔드의 삼각형에서 삼각형으로의 분할을 가능하게 하는 것.
• 다양한 특징의 상호보완성과 다중 레이블 그래프 컷을 통한 후처리를 통해 정확도를 향상시키는 것.
• 다양한 카테고리와 특성을 가진 형태를 포함하는 혼합 데이터셋 환경에서 강한 일반화 성능을 입증하는 것.

제안 방법

• 노드를 삼각형, 간선을 인접성으로 정의하는 그래프로 3D 형태를 표현하여 그래프 기반 연산을 가능하게 한다.
• 이미지 기반 연산을 비정규 메시 구조에 일반화하는 새로운 형태의 컨볼루션 및 풀링 레이어를 설계한다.
• 형태 컨볼루션을 기존 FCN 아키텍처에 통합하기 위한 다리 역할을 하는 생성 연산을 도입한다.
• 개선된 특징 표현을 위해 세 가지 저수준 기하 특징(예: 곡률, 법선 등)을 입력으로 사용해 SFCN을 훈련시킨다.
• 예측 결과를 개선하기 위해 투표 기반 다중 레이블 그래프 컷 최적화를 적용하여 경계의 매끄러움과 레이블 일관성을 향상시킨다.
• 분할 과정에서 세밀한 세부 정보를 유지하기 위해 SFCN 아키텍처에 스키프 커넥션을 사용한다.

실험 결과

연구 질문

• RQ1 비정규적인 구조를 가진 3D 메시 데이터에 대해 완전 컨볼루션 네트워크를 효과적으로 적용할 수 있는가? 이는 2D 이미지에서의 성공과 유사한가?
• RQ2 그래프 컨볼루션 및 풀링 연산을 어떻게 설계하여 3D 형태의 기하학적 및 위상 정보를 유지할 수 있는가?
• RQ3 단일 SFCN 모델이 혼합 데이터셋 환경에서 다양한 형태 카테고리에 일반화될 수 있는가?
• RQ4 다중 특징 융합과 후처리 최적화가 얼마나 분할 정확도와 경계 품질을 향상시키는가?
• RQ5 제안된 방법이 소형 및 대형 3D 형태 데이터셋 모두에서 기존 최신 기술 수준의 접근법을 초월하는가?

주요 결과

• 제안된 SFCN는 벤치마크 및 혼합 카테고리 데이터셋 모두에서 기존 방법보다 뛰어난 성능을 달성하여 최신 기술 수준의 성능을 확보한다.
• COSEG에서의 혼합 데이터셋을 사용해 훈련 및 테스트할 경우 정확도 저하가 최소한이 되도록 잘 일반화된다.
• 다중 레이블 그래프 컷 최적화 이후 정확도가 크게 향상되며, 정량적 결과로 F1 점수가 증가하고 경계가 더 매끄러워지는 것으로 나타났다.
• 깊이가 깊어질수록 네트워크 수렴 속도가 빨라지고, 네트워크 깊이 증가에 따라 분할 정확도도 향상되며, 평가에서 최대 다섯 레이어까지 성능 향상이 관찰되었다.
• 고정된 메시 해상도나 수동 메시 전처리가 필요 없이 엔드 투 엔드의 삼각형에서 삼각형으로의 학습을 가능하게 한다.
• 다중 특징 입력과 그래프 컷 최적화의 조합은 특히 복잡한 기하학적 구조를 가진 영역에서 더 일관되고 정확한 분할을 이끌어낸다.