[논문 리뷰] Mask3D: Mask Transformer for 3D Semantic Instance Segmentation

Jonas Schult, Francis Engelmann외 4명|arXiv (Cornell University)|2022. 10. 06.

Advanced Neural Network Applications인용 수 11

한 줄 요약

Mask3D는 기하학적 투표나 클러스터링 히우리스틱스에 의존하지 않고, 학습 가능한 인스턴스 쿼리를 사용해 포인트 클라우드에서 직접 인스턴스 마스크를 예측하는 새로운 트랜스포머 기반 접근법을 제안한다. 이는 수동으로 설정된 투표 방식이나 기하학적 클러스터링이 필요 없음을 의미한다. 다양한 벤치마크에서 최신 기술 성능을 달성하였으며, ScanNet200에서 +12.4 mAP의 성능 향상을 기록하였다.

ABSTRACT

Modern 3D semantic instance segmentation approaches predominantly rely on specialized voting mechanisms followed by carefully designed geometric clustering techniques. Building on the successes of recent Transformer-based methods for object detection and image segmentation, we propose the first Transformer-based approach for 3D semantic instance segmentation. We show that we can leverage generic Transformer building blocks to directly predict instance masks from 3D point clouds. In our model called Mask3D each object instance is represented as an instance query. Using Transformer decoders, the instance queries are learned by iteratively attending to point cloud features at multiple scales. Combined with point features, the instance queries directly yield all instance masks in parallel. Mask3D has several advantages over current state-of-the-art approaches, since it neither relies on (1) voting schemes which require hand-selected geometric properties (such as centers) nor (2) geometric grouping mechanisms requiring manually-tuned hyper-parameters (e.g. radii) and (3) enables a loss that directly optimizes instance masks. Mask3D sets a new state-of-the-art on ScanNet test (+6.2 mAP), S3DIS 6-fold (+10.1 mAP), STPLS3D (+11.2 mAP) and ScanNet200 test (+12.4 mAP).

연구 동기 및 목표

• 기하학적 투표나 클러스터링 히우리스틱스와 같은 수동으로 조정된 구성 요소에 의존하는 기존 3D 인스턴스 세그멘테이션 방법의 한계를 해결한다.
• 투표에 대한 보조 손실 없이 직접 마스크 감독 신호를 통해 엔드 투 엔드 학습을 가능하게 한다.
• 트랜스포머의 어텐션 메커니즘을 활용해 포인트 특징과 함께 인스턴스 쿼리를 함께 추론하여 마스크 예측을 학습한다.
• 순수한 트랜스포머 기반 아키텍처가 기존의 CNN 기반 방법보다 3D 인스턴스 세그멘테이션에서 뛰어난 성능을 낼 수 있음을 입증한다.
• 어텐션 기반 쿼리 디코딩을 통해 의미 레이블과 인스턴스 마스크를 동시에 예측하는 통합적이고 미분 가능한 프레임워크를 제공한다.

제안 방법

• 트랜스포머 디코더를 통해 다중 스케일 포인트 클라우드 특징에 주목하는 학습 가능한 임베딩으로서의 인스턴스 쿼리를 사용한다.
• 각 인스턴스 쿼리는 다중 헤드 자기어텐션과 포인트 특징에 대한 크로스어텐션을 통해 개별 인스턴스 특징을 개선한다.
• 모든 포인트 특징과의 유사도 점수를 계산하여 인스턴스 특징과의 유사도에 기반해 마스크를 예측한다.
• 학습 중에 예측과 진짜 인스턴스를 연결하기 위해 이분 매칭 전략(Hungarian matching)을 사용한다.
• 전경-배경 클래스 불균형을 다루기 위해 이진 교차 엔트로피 손실과 딱스 손실을 조합하여 마스크 감독을 수행한다.
• 성능 향상을 위해 비모수적 쿼리 초기화 방식으로 최대한 떨어진 점 샘플링(FPS)을 사용한다.

Figure 2: Illustration of the Mask3D model. The feature backbone outputs multi-scale point features $\mathbf{F}$ , while the Transformer decoder iteratively refines the instance queries $\mathbf{X}$ . Given point features and instance queries, the mask module predicts for each query a semantic class

실험 결과

연구 질문

• RQ1 기하학적 투표나 클러스터링 히우리스틱스에 의존하지 않고 순수한 트랜스포머 기반 아키텍처가 3D 인스턴스 마스크를 직접 예측할 수 있는가?
• RQ2 3D 인스턴스 세그멘테이션에서 미분 가능한 손실을 통한 엔드 투 엔드 마스크 감독이 투표에 대한 보조 손실보다 더 우수한가?
• RQ3 쿼리 초기화 전략(모수적 대비 비모수적)이 모델 성능에 미치는 영향은 무엇인가?
• RQ4 인스턴스 쿼리의 수가 추론 품질과 효율성에 미치는 영향은 어떠한가?
• RQ5 자기어텐션 메커니즘이 큰 3D 시나리오에서 장거리 의존성을 효과적으로 포착하여 정확한 인스턴스 예측을 가능하게 하는가?

주요 결과

• Mask3D는 이전 방법 대비 +6.2 mAP 향상으로 ScanNet 테스트 스플릿에서 새로운 최신 기술 성능을 달성하였다.
• S3DIS 6-폴드에서 이전 최신 기술 대비 mAP가 +10.1 향상되었다.
• STPLS3D에서 +11.2 mAP 향상을 기록하여 다양한 도메인에 대한 강력한 일반화 능력을 입증하였다.
• ScanNet200에서 +12.4 mAP 향상으로 새로운 최신 기술 성능을 수립하였으며, 이는 대규모이고 세분화된 카테고리에 대한 뛰어난 강건성을 보여주었다.
• FPS를 통한 비모수적 쿼리 초기화가 모수적 쿼리보다 성능이 뛰어나며, 특히 쿼리가 0으로 초기화되었을 때 최고의 성능을 보였다.
• 모델은 초기 디코더 레이어에서 마스크 품질 향상 속도가 매우 빠르며, 네 번째 레이어 이후에는 수익 감소 현상이 나타나 기능 개선이 효과적으로 이루어지고 있음을 시사한다.

Figure 3: Number of queries and decoder layers.