[논문 리뷰] 3D-QueryIS: A Query-based Framework for 3D Instance Segmentation

Jiaheng Liu, Tong He외 7명|arXiv (Cornell University)|2022. 11. 17.

3D Shape Modeling and Analysis인용 수 13

한 줄 요약

이 논문은 검출기 기반, 의미 분할 기반, 클러스터링 기반의 3D 인스턴스 세그멘테이션 방법의 한계를 해결하기 위해 검출기-무관, 의미 분할-무관, 클러스터링-무관인 새로운 쿼리 기반 프레임워크인 3D-QueryIS를 제안한다. 이는 음성 대표 포인트 생성과 트랜스포머 기반 디코더를 통해 인스턴스 쿼리를 생성함으로써 상호작용이 적고 추론 효율성이 높은 엔드 투 엔드 마스크 및 클래스 예측을 가능하게 하며, ScanNetV2에서 85ms의 추론 시간으로 여러 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Previous top-performing methods for 3D instance segmentation often maintain inter-task dependencies and the tendency towards a lack of robustness. Besides, inevitable variations of different datasets make these methods become particularly sensitive to hyper-parameter values and manifest poor generalization capability. In this paper, we address the aforementioned challenges by proposing a novel query-based method, termed as 3D-QueryIS, which is detector-free, semantic segmentation-free, and cluster-free. Specifically, we propose to generate representative points in an implicit manner, and use them together with the initial queries to generate the informative instance queries. Then, the class and binary instance mask predictions can be produced by simply applying MLP layers on top of the instance queries and the extracted point cloud embeddings. Thus, our 3D-QueryIS is free from the accumulated errors caused by the inter-task dependencies. Extensive experiments on multiple benchmark datasets demonstrate the effectiveness and efficiency of our proposed 3D-QueryIS method.

연구 동기 및 목표

• 검출기, 의미 분할 헤드 또는 히우리스틱 클러스터링에 의존함으로써 발생하는 상호작용에 기인한 기존 3D 인스턴스 세그멘테이션 방법의 한계를 해결하기 위해.
• 검출, 의미 분할, 클러스터링 컴포넌트 간의 의존성을 제거함으로써 오류 누적을 줄이고 일반화 성능을 향상시키기 위해.
• 중간 지도 신호 없이 학습 가능한 쿼리를 직접 사용하여 인스턴스 마스크와 클래스를 예측하는 더 단순하고 효율적인 프레임워크 설계를 위해.
• 쿼리 생성 및 마스크 예측 단계를 최적화함으로써 최소한의 계산 오버헤드로 높은 성능을 달성하기 위해.

제안 방법

• 이 방법은 세 단계 파이프라인을 사용한다: 초기 특징 추출, 인스턴스 쿼리 생성, 인스턴스 마스크 예측.
• 인스턴스 쿼리 생성 단계에서, 대표 포인트 생성(RPG) 모듈은 복셀 임베딩에서 정보가 풍부한 음성 대표 포인트를 학습하여 노이즈와 계산 비용을 감소시킨다.
• 인스턴스 쿼리 디코더(IQD)는 초기 쿼리와 대표 포인트 간의 셰어드 어텐션을 사용하는 트랜스포머 디코더를 활용하여 맥락 인식 인스턴스 쿼리를 생성한다.
• 인스턴스 마스크 예측 단계에서는 생성된 인스턴스 쿼리에 대해 별도의 MLP 헤드를 적용하여 클래스 레이블과 이진 인스턴스 마스크를 예측한다.
• 전체 프레임워크는 엔드 투 엔드로 훈련 가능하며, 경계 상자 검출기, 의미 분할 또는 클러스터링 히우리스틱에 의존하지 않는다.
• 학습 가능한 쿼리 초기화와 함께 자기 어텐션 메커니즘을 활용하여 각 인스턴스 쿼리가 전역 맥락을 포착하도록 한다.

실험 결과

연구 질문

• RQ1 쿼리 기반 3D 인스턴스 세그멘테이션 프레임워크가 검출기 기반 및 그룹화 기반 방법에 내재된 상호작용을 제거할 수 있는가?
• RQ2 음성으로 학습 가능한 대표 포인트 생성 전략이 인스턴스 쿼리 품질 향상과 계산 비용 감소에 얼마나 효과적인가?
• RQ3 검출기-무관, 분할-무관, 클러스터링-무관 프레임워크가 최고 성능과 높은 추론 효율성을 얼마나 잘 달성할 수 있는가?
• RQ4 쿼리 수와 대표 포인트 수가 정확도와 추론 속도 사이의 트레이드오���에 미치는 영향은 어떠한가?

주요 결과

• 3D-QueryIS는 ScanNetV2, S3DIS, Waymo를 포함한 여러 벤치마크 데이터셋에서 최고 성능을 달성하며, mAP와 mIoU 모두에서 뚜렷한 향상을 보였다.
• ScanNetV2 검증 세트에서 스캔당 추론 시간이 단 85ms에 불과하여 기존 방법들에 비해 크게 뛰어나며, 모든 컴포넌트가 GPU에서 실행된다.
• 제거 분석 결과, 쿼리 수(K)를 50에서 100으로 늘일수록 성능 향상이 있었으며, K=100을 초과하면 성능 향상 폭이 미미해졌다.
• 대표 포인트 수(J)는 2000개까지 성능 향상에 긍정적인 영향을 미치며, 이후에는 성능 향상 폭이 멈추어 정확도와 비용 사이의 안정적인 트레이드오���을 보여주었다.
• 시각화 결과 3D-QueryIS는 의미 예측에서 오염된 오류가 전파되는 것을 방지함을 확인하였으며, 이는 SoftGroup과 같은 방법이 의미 브랜치에서 오류를 유전하는 것과 대조된다.
• 기존 방법이 데이터셋 간 차이에 민감하여 재조정이 필요로 하는 데 반해, 이 방법은 다양한 데이터셋 간에 하이퍼파rameter 재조정 없이도 강력한 일반화 성능을 보였다.