[논문 리뷰] 3DCFS: Fast and Robust Joint 3D Semantic-Instance Segmentation via Coupled Feature Selection

Liang Du, Jingang Tan외 6명|arXiv (Cornell University)|2020. 03. 01.

3D Shape Modeling and Analysis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 결합된 특징 선택을 통해 병렬 3D 세분류 및 인스턴스 세분류를 위한 빠르고 강력한 엔드 투 엔드 프레임워크인 3DCFS를 제안한다. 새로운 CFSM 모듈은 게이트 메커니즘을 통해 작업에 특화된 특징을 적응적으로 융합하며, 유사도 계산의 신뢰성을 향상시키기 위해 임bedding 차원의 크기를 균형 잡는 데 기여하는 새로운 손실 함수 ($τ}_{EMED}$)를 도입한다. 이로 인해 S3DIS 및 ShapeNet 데이터셋에서 최신 기준(SOTA) 성능을 기록하며 정확도, 속도, 효율성에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a novel fast and robust 3D point clouds segmentation framework via coupled feature selection, named 3DCFS, that jointly performs semantic and instance segmentation. Inspired by the human scene perception process, we design a novel coupled feature selection module, named CFSM, that adaptively selects and fuses the reciprocal semantic and instance features from two tasks in a coupled manner. To further boost the performance of the instance segmentation task in our 3DCFS, we investigate a loss function that helps the model learn to balance the magnitudes of the output embedding dimensions during training, which makes calculating the Euclidean distance more reliable and enhances the generalizability of the model. Extensive experiments demonstrate that our 3DCFS outperforms state-of-the-art methods on benchmark datasets in terms of accuracy, speed and computational cost.

연구 동기 및 목표

• 3D 세분류 및 인스턴스 세분류에서 순차적 또는 단순한 병렬 학습의 한계를 해결하기 위해, 상游 오류가 하류 성능을 떨어뜨리는 문제를 해결한다.
• 인간의 인지 방식을 모방한 방식으로, 세분류와 인스턴스 세분류 간의 상호 정보를 결합된 방식으로 모델링하여 상호 의존성을 활용한다.
• 유사도 계산의 신뢰성을 높이기 위해, 유클리드 거리 계산에서 편향을 유발할 수 있는 임베딩 차원의 크기를 균형 잡는다.
• 낮은 계산 비용과 추론 시간으로 높은 성능을 달성하는 효율적인 엔드 투 엔드 프레임워크를 개발한다.
• S3DIS 및 ShapeNet을 포함한 다양한 벤치마크에서 정확도와 추론 속도 모두 최신 기준 성능을 입증한다.

제안 방법

• 인스턴스에서 세분류로, 세분류에서 인스턴스로 향하는 두 개의 게이트 제어 스트림을 사용하는 결합된 특징 선택 모듈(CFSM)을 제안한다. 이는 작업에 특화된 특징을 선택적으로 융합한다.
• CFSM 내부의 게이트 메커니즘을 통해 불필요하거나 충돌하는 특징을 동적으로 억제함으로써, 작업에 맞는 적응형 특징 융합을 가능하게 한다.
• 임베딩 차원의 크기를 균형 잡는 데 기여하는 새로운 손실 함수 $\mathcal{E}_{EMED}$ 를 도입하여, 유클리드 거리 기반 클러스터링의 안정성과 정확도를 향상시킨다.
• 기본 백본으로 PointNet/PointNet++를 사용하고, 디코더에 CFSM를 적용하여 두 세분류 작업을 엔드 투 엔드로 동시에 최적화한다.
• 학습된 임베딩에 대해 유클리드 거리를 적용하여 인스턴스 클러스터링을 수행하며, $\mathcal{E}_{EMED}$ 가 특정 차원이 거리 계산에 지배적이지 않도록 보장한다.
• 공통된 백본과 병행 학습을 통해 파라미터 효율성과 작업 간 상호 감독을 실현한다.

실험 결과

연구 질문

• RQ1 게이트 기반의 결합된 특징 선택 메커니즘이 기존 다중 작업 학습 방식을 초월해 3D 세분류 및 인스턴스 세분류 성능을 향상시킬 수 있는가?
• RQ2 임베딩 차원의 크기를 균형 잡는 것이 유클리드 거리 기반의 인스턴스 클러스터링 신뢰성에 상당한 영향을 미치는가?
• RQ3 인간의 인지 방식을 모방한 상호 정보 흐름이 세분류 및 인스턴스 세분류 작업 간의 성능 향상과 강건성 향상에 기여하는가?
• RQ4 기존 최신 기준(SOTA) 방법들과 비교해 표준 벤치마크에서 3DCFS 프레임워크의 속도, 정확도, 메모리 효율성은 어떠한가?
• RQ5 임베딩 차원 스케일링에 대한 민감도를 감소시키고 일반화 성능을 향상시키기 위해 $\mathcal{E}_{EMED}$ 손실 함수가 얼마나 기여하는가?

주요 결과

• S3DIS에서 3DCFS는 세분류 작업에 대해 62.3 mAcc, 인스턴스 세분류에 대해 54.7 mPrec를 기록하며, 두 지표에서 모두 최신 기준(SOTA) 방법들을 능가한다.
• $\mathcal{E}_{EMED}$ 손실 함수는 임베딩 차원의 평균 크기를 성공적으로 균형 잡아, 분산을 감소시키고 클러스터링 신뢰성을 향상시켰으며, 그 결과는 그림 6에서 확인할 수 있다.
• S3DIS에서 3DCFS는 에포크당 뿐만 아니라 26.4분, 2,227 MB의 메모리로 학습되며, SGPN(59.3분, 7,549 MB) 및 ASIS(64.7분, 4,275 MB)에 비해 훨씬 빠르고 효율적이다.
• S3DIS에서의 추론 시간 역시 빠르며, 36.3분, 307 MB로, SGPN(209.5분, 420 MB) 및 ASIS(54.2분, 1,235 MB)를 압도적으로 앞선다.
• ShapeNet에서 3DCFS는 세분류 작업에 대해 87.6 mIoU를 기록하며, SGPN에 비해 1.8 mIoU 높은 성능을 보여, 부분 수준 세분류에서 강력한 일반화 능력을 입증한다.
• 정성적 결과 분석을 통해 3DCFS는 자동차, 의자와 같은 복잡한 물체를 정확히 세분류하며, 기존 기준 방법에서 흔히 발생하는 과다 또는 과소 클러스터링 오류를 방지함을 확인할 수 있다.