[논문 리뷰] MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation

Chen Liu, Yasutaka Furukawa|arXiv (Cornell University)|2019. 02. 12.

3D Shape Modeling and Analysis참고 문헌 19인용 수 81

한 줄 요약

MASC를 소개하는 희소 합성 기반 네트워크로, 의미 점수와 다중 스케일 포인트 친화도를 예측하여 제안 없이 3D 포인트를 인스턴스로 클러스터링하며 ScanNet에서 최첨단 성능을 달성한다.

ABSTRACT

We propose a new approach for 3D instance segmentation based on sparse convolution and point affinity prediction, which indicates the likelihood of two points belonging to the same instance. The proposed network, built upon submanifold sparse convolution [3], processes a voxelized point cloud and predicts semantic scores for each occupied voxel as well as the affinity between neighboring voxels at different scales. A simple yet effective clustering algorithm segments points into instances based on the predicted affinity and the mesh topology. The semantic for each instance is determined by the semantic prediction. Experiments show that our method outperforms the state-of-the-art instance segmentation methods by a large margin on the widely used ScanNet benchmark [2]. We share our code publicly at https://github.com/art-programmer/MASC.

연구 동기 및 목표

• 큰 실내 공간에서 견고한 3D 인스턴스 세그멘테이션을 동기 부여한다.
• 전체 씬 보셀화 포인트 클라우드를 효율적으로 처리하기 위해 희소 합성을 활용한다.
• 의미 점수와 다중 스케일 보셀 친화도를 예측하여 인스턴스로의 클러스터링을 가능하게 한다.
• 학습된 친화도와 메시 토폴로지를 이용하는 간단한 클러스터링 절차를 개발한다.]
• method:[
• U-Net을 서브매니폴드 희소 합성으로 구성하여 전체 씬 보셀 격자를 처리한다.
• 이웃하는 보셀 간의 서로 다른 스케일에서 per-voxel 의미 점수와 다중 어피니티 분기를 예측한다.
• 평균 다중 스케일 친화도와 메시 토폴로지를 기반으로 노드를 병합하는 클러스터링 알고리즘을 정의한다.
• 각 인스턴스에 대해 그 점들로부터의 다수 표를 통해 의미 라벨을 할당한다.
• 희소 영역에서 지역 친화도 예측을 개선하기 위해 무작위 밀집화를 데이터에 추가한다.]
• research_questions:[
• 희소 합성으로 다중 스케일 친화도 예측이 제안 없이도 효과적인 3D 인스턴스 세그멘테이션을 가능하게 하는가?
• 제안된 클러스터링 알고리즘이 예측 친화도와 메시 토폴로지를 어떻게 활용해 일관된 인스턴스를 형성하는가?
• ScanNet에서 두 가지 친화도 스케일을 사용하는 것이 성능에 어떤 영향을 미치는가?
• MASC가 ScanNet 벤치마크에서 최첨단 방법들과 어떻게 비교되는가?]
• key_findings:[
• 3D 인스턴스 세그멘테이션에서 ScanNet 벤치마크의 최첨단 방법을 능가한다(IoU 0.5에서 AP).
• 제안된 Ours 방법은 표 1에서 3D-SIS, GSPN, SGPN에 비해 대부분의 카테고리에서 더 높은 점수를 달성한다.
• 클러스터링 기반의 다중 스케일 친화도 접근 방식은 제안 없이도 강력한 인스턴스 세그멘테이션을 제공한다.
• 인스턴스에 대한 의미 라벨은 구성 포인트의 다수 표로 결정된다.
• 데이터 밀집화 및 평면 객체 처리를 포함하여 공면적 또는 평평한 객체의 세그멘테이션을 개선한다.]
• table_headers:["방법","평균","욕조","침대","책장","캐비닛","의자","주방 카운터","커튼","책상","문","기타","그림","냉장고","샤워","싱크대","소파","탁자","화장실(변기)","창문"]
• table_rows:[["3d-SIS","0.382","1.000","0.432","0.245","0.190","0.577","0.013","0.263","0.033","0.320","0.240","0.075","0.422","0.857","0.117","0.699","0.271","0.883","0.235"],["GSPN","0.306","0.500","0.405","0.311","0.348","0.589","0.054","0.068","0.126","0.283","0.290","0.028","0.219","0.214","0.331","0.396","0.275","0.821","0.245"],["SGPN","0.143","0.208","0.390","0.169","0.065","0.275","0.029","0.069","0.000","0.087","0.043","0.014","0.027","0.000","0.112","0.351","0.168","0.438","0.138"],["Ours","0.447","0.528","0.555","0.381","0.382","0.633","0.002","0.509","0.260","0.361","0.432","0.327","0.451","0.571","0.367","0.639","0.386","0.980","0.276"]]} }# 1437/2000

제안 방법

• 유니-넷을 서브매니폴드 희소 합성으로 사용하여 전체 씬 보셀 격자를 처리한다.
• 이웃 보셀 간의 서로 다른 스케일에서 보셀별 의미 점수와 다중 어피니티 분기를 예측한다.
• 다중 스케일 친화도로 노드를 평균화해 합치는 클러스터링 알고리즘을 정의한다.
• 각 인스턴스에 대해 포인트의 다수 표에서 얻은 의미 라벨을 할당한다.
• 희소 영역에서 지역 친화도 예측을 개선하기 위해 데이터에 무작위 밀도화를 추가한다.

실험 결과

연구 질문

• RQ1 희소 합성으로 다중 스케일 친화도 예측이 제안 없이도 효과적인 3D 인스턴스 세그멘테이션을 가능하게 하는가?
• RQ2 제안된 클러스터링 알고리즘이 예측 친화도와 메시 토폴로지를 어떻게 활용해 일관된 인스턴스를 형성하는가?
• RQ3 ScanNet에서 두 가지 친화도 스케일을 사용하는 것이 성능에 어떤 영향을 미치는가?
• RQ4 MASC가 ScanNet 벤치마크에서 최첨단 방법들과 어떻게 비교되는가?

주요 결과

방법	평균	욕조	침대	책장	캐비닛	의자	주방 카운터	커튼	책상	문	기타	그림	냉장고	샤워	싱크대	소파	탁자	화장실(변기)	창문
3d-SIS	0.382	1.000	0.432	0.245	0.190	0.577	0.013	0.263	0.033	0.320	0.240	0.075	0.422	0.857	0.117	0.699	0.271	0.883	0.235
GSPN	0.306	0.500	0.405	0.311	0.348	0.589	0.054	0.068	0.126	0.283	0.290	0.028	0.219	0.214	0.331	0.396	0.275	0.821	0.245
SGPN	0.143	0.208	0.390	0.169	0.065	0.275	0.029	0.069	0.000	0.087	0.043	0.014	0.027	0.000	0.112	0.351	0.168	0.438	0.138
Ours	0.447	0.528	0.555	0.381	0.382	0.633	0.002	0.509	0.260	0.361	0.432	0.327	0.451	0.571	0.367	0.639	0.386	0.980	0.276

• ScanNet 벤치마크의 3D 인스턴스 세그멘테이션에서 최첨단 방법을 능가한다(IoU 0.5에서 AP).
• 제안된 Ours 방법은 표 1에서 3D-SIS, GSPN, SGPN에 비해 대부분의 카테고리에서 더 높은 점수를 달성한다.
• 클러스터링 기반의 다중 스케일 친화도 접근 방식은 제안 없이도 강력한 인스턴스 세그멘테이션을 제공한다.
• 인스턴스에 대한 의미 라벨은 구성 포인트의 다수 표로 결정된다.
• 데이터 밀집화 및 평면 객체 처리를 포함하여 공면적 또는 평평한 객체의 세그멘테이션을 개선한다.