[논문 리뷰] Mask-Attention-Free Transformer for 3D Instance Segmentation

Xin Lai, Yuhui Yuan외 4명|arXiv (Cornell University)|2023. 09. 04.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 3D 인스턴스 세그멘테이션을 위한 마스크 어텐션을 사용하지 않는 트랜스포머를 제안하며, 초기 마스크의 낮은 재현율로 인한 느린 수렴 문제를 해결하기 위해 마스크 어텐션을 보조 중심 회귀 작업으로 대체한다. 조밀한 위치 쿼리, 상대적 위치 인코딩, 반복적 정밀 조정을 통해 이 방법은 4배 빠른 수렴 속도를 달성하고, ScanNetv2에서 이전 방법보다 적은 학습 에포크 수로 최신 기준 성능(SoTA)을 달성한다.

ABSTRACT

Recently, transformer-based methods have dominated 3D instance segmentation, where mask attention is commonly involved. Specifically, object queries are guided by the initial instance masks in the first cross-attention, and then iteratively refine themselves in a similar manner. However, we observe that the mask-attention pipeline usually leads to slow convergence due to low-recall initial instance masks. Therefore, we abandon the mask attention design and resort to an auxiliary center regression task instead. Through center regression, we effectively overcome the low-recall issue and perform cross-attention by imposing positional prior. To reach this goal, we develop a series of position-aware designs. First, we learn a spatial distribution of 3D locations as the initial position queries. They spread over the 3D space densely, and thus can easily capture the objects in a scene with a high recall. Moreover, we present relative position encoding for the cross-attention and iterative refinement for more accurate position queries. Experiments show that our approach converges 4x faster than existing work, sets a new state of the art on ScanNetv2 3D instance segmentation benchmark, and also demonstrates superior performance across various datasets. Code and models are available at https://github.com/dvlab-research/Mask-Attention-Free-Transformer.

연구 동기 및 목표

• 기존 트랜스포머 기반 3D 인스턴스 세그멘테이션 방법에서의 느린 수렴 문제를 해결하기 위해.
• 마스크 어텐션으로 인해 발생하는 초기 인스턴스 마스크의 낮은 재현율이 학습 불안정성의 근본 원인임을 규명하기 위해.
• 마스크 어텐션을 중심 회귀 기반 가이던스 메커니즘으로 대체하여 학습 효율성과 정확도를 향상시키기 위해.
• 새로운 학습 파라다임을 지원하기 위해 조밀한 위치 쿼리와 상대적 위치 인코딩과 같은 위치 인식 구성 요소를 설계하기 위해.
• 매우 짧은 학습 시간으로 최신 기준 성능을 달성하기 위해.

제안 방법

• 학습 초반부터 객체 인스턴스의 높은 재현율을 확보하기 위해 3D 공간을 전역적으로 분포하는 학습 가능한 조밀한 위치 쿼리를 도입한다.
• 낮은 품질의 초기 마스크에 의존하지 않기 위해, 예측된 중심 좌표를 사용해 크로스 어텐션을 가로질러 지도하는 중심 회귀 작업으로 마스크 어텐션을 대체한다.
• 하드 마스킹을 대체하기 위해 크로스 어텐션 레이어에 상대적 위치 인코딩(RPE)을 적용하여 쿼리와 포인트 간의 공간적 관계를 모델링한다.
• 디코더 레이어를 거쳐 위치 쿼리를 반복적으로 정밀 조정하여 점진적으로 국소화 정확도를 향상시킨다.
• 예측치를 정답 인스턴스 중심과 일치시키기 위해 중심 기반 매칭과 학습 중 중심 손실을 도입한다.
• 콘텐츠 쿼리(특징 집합용)와 위치 쿼리(공간 가이던스용)를 모두 반복적으로 정밀 조정하는 이중 스트림 쿼리 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 기존 트랜스포머 기반 3D 인스턴스 세그멘테이션 방법이 왜 느린 수렴을 겪는가?
• RQ2 마스크 어텐션 메커니즘에서 발생하는 초기 마스크의 낮은 재현율이 학습 불안정성의 주요 원인일 수 있는가?
• RQ3 마스크 어텐션을 중심 회귀 작업으로 대체하면 수렴 속도와 세그멘테이션 정확도가 향상될 수 있는가?
• RQ4 마스크 어텐션을 사용하지 않는 트랜스포머에서 위치 사전 지식을 효과적으로 활용할 수 있는가?
• RQ5 조밀한 위치 쿼리, 상대적 위치 인코딩, 반복적 정밀 조정과 같은 설계 선택 사항 중 어떤 것이 성능 향상에 가장 기여하는가?

주요 결과

• 제안된 방법은 3D 인스턴스 세그멘테이션 벤치마크인 ScanNetv2에서 63.9% mAP@50 및 73.5% mAP@25로 새로운 최신 기준 성능(SoTA)을 달성한다.
• 기준 모델 대비 4배 빠른 수렴 속도를 보이며, 512 에포크 기준 모델을 128 에포크만으로도 능가한다.
• 절단 실험 결과 중심 매칭과 중심 손실 각각이 1.6% 이상의 mAP 향상을 기여하며, 둘 다 제거할 경우 2.0%의 감소가 발생한다.
• 상대적 위치 인코딩이 절대적 및 콘텐츠 조건 기반 위치 인코딩보다 우수한 성능을 보이며, 공간적 관계 모델링의 중요성을 입증한다.
• 위치 쿼리의 반복적 정밀 조정은 mAP를 0.9% 향상시켜 공간 국소화 정밀도 향상에 기여함을 입증한다.
• 이 방법은 일반화 능력이 뛰어나 ScanNetv2, ScanNet200, S3DIS를 포함한 여러 데이터셋에서 뛰어난 성능을 보인다.