[논문 리뷰] AGILE3D: Attention Guided Interactive Multi-object 3D Segmentation

Yuanwen Yue, Sabarinath Mahadevan외 5명|arXiv (Cornell University)|2023. 06. 01.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

AGILE3D는 공간-시간 클릭 쿼리를 사용하여 3D 포인트 클라우드 내 여러 객체를 동시에 분할하는 주의 유도형, 상호작용 가능한 3D 세분화 프레임워크를 소개한다. 이는 더 적은 사용자 클릭으로 더 빠른 추론과 향상된 정확도를 가능하게 한다. 클릭 주의 모듈을 통해 클릭과 3D 시나리오 간의 명시적 상호작용을 모델링함으로써, 단일 및 다중 객체 설정 모두에서 최신 기술 수준의 성능을 달성하며, 특히 저클릭 환경에서 뛰어난 성능을 보인다.

ABSTRACT

During interactive segmentation, a model and a user work together to delineate objects of interest in a 3D point cloud. In an iterative process, the model assigns each data point to an object (or the background), while the user corrects errors in the resulting segmentation and feeds them back into the model. The current best practice formulates the problem as binary classification and segments objects one at a time. The model expects the user to provide positive clicks to indicate regions wrongly assigned to the background and negative clicks on regions wrongly assigned to the object. Sequentially visiting objects is wasteful since it disregards synergies between objects: a positive click for a given object can, by definition, serve as a negative click for nearby objects. Moreover, a direct competition between adjacent objects can speed up the identification of their common boundary. We introduce AGILE3D, an efficient, attention-based model that (1) supports simultaneous segmentation of multiple 3D objects, (2) yields more accurate segmentation masks with fewer user clicks, and (3) offers faster inference. Our core idea is to encode user clicks as spatial-temporal queries and enable explicit interactions between click queries as well as between them and the 3D scene through a click attention module. Every time new clicks are added, we only need to run a lightweight decoder that produces updated segmentation masks. In experiments with four different 3D point cloud datasets, AGILE3D sets a new state-of-the-art. Moreover, we also verify its practicality in real-world setups with real user studies.

연구 동기 및 목표

• 사용자 클릭이 한 객체에만 적용되는 순차적 단일 객체 3D 세분화의 비효율성을 해결하기 위해, 한 객체의 클릭이 인접 객체의 세분화에 암묵적으로 영향을 줄 수 있도록 하는 것.
• 사용자 클릭과 3D 시나리오 간의 상호작용을 모델링하여 다중 3D 객체의 동시에 고려된 세분화를 가능하게 하는 것.
• 특징 추출을 클릭 처리에서 분리하여 추론 시간을 단축시키고, 사용자 클릭마다 경량 재추론이 가능하도록 하는 것.
• 공간-시간 위치 인코딩을 사용해 사용자 클릭을 고차원 쿼리로 인코딩함으로써 세분화 정확도와 샘플 효율성을 향상시키는 것.
• 다양한 3D 데이터셋에서의 벤치마킹과 실제 사용자 연구를 통해 모델의 실용성을 검증하는 것.

제안 방법

• 사용자 클릭이 이진 클릭 맵이 아닌 고차원 특징 쿼리로 인코딩되어 3D 포인트 특징과 직접 통합될 수 있도록 하는 것.
• 클릭-쿼리 모듈이 사용자 피드백의 순서와 위치를 유지하기 위해 각 클릭에 공간-시간 위치 인코딩을 보완하는 것.
• 클릭 주의 모듈이 클릭-시나리오, 시나리오-클릭, 클릭-클릭 주의를 포함한 세 가지 방향의 상호작용을 가능하게 하여 맥락 기반 추론을 지원하는 것.
• 쿼리 융합 모듈이 모든 클릭 쿼리를 경쟁적 주의 메커니즘을 통해 융합하여 통합적이고 종합적인 세분화 마스크를 생성하는 것.
• 3D 백본은 사전 계산되며, 사용자 상호작용마다 경량 디코더(클릭 주의 및 쿼리 융합)만 재실행되어 빠른 추론이 가능해지는 것.
• 실제 사용자 피드백을 시뮬레이션하는 반복적 학습 전략을 사용하여 일반화 능력과 저샘플 성능을 향상시키는 것.

실험 결과

연구 질문

• RQ1 다양한 객체를 순차적으로 처리하는 것보다 동시에 처리함으로써 상호작용형 3D 세분화의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 사용자 클릭의 공간-시간 인코딩이 반복 애너테이션 환경에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 명시적 클릭-시나리오 및 클릭-클릭 주의 메커니즘이 세분화 정확도와 일반화 능력에 얼마나 기여하는가?
• RQ4 쿼리 기반, 주의 기반 아키텍처가 추론 시간을 단축시키면서도 세분화 품질을 유지하거나 향상시킬 수 있는가?
• RQ5 실제 사용자 연구에서 기존 베이스라인 대비 모델은 실용적 애너테이션 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• S3DIS 데이터셋에서 AGILE3D는 10개 클릭 시 평균 IoU 84.4%를 달성하여 이전 최신 기술 수준의 방법들보다 유의미하게 뛰어난 성능을 보였다.
• 저클릭 환경(10개 클릭)에서 AGILE3D는 이전 SOTA 대비 약 10.7% 더 적은 클릭 수로 세분화를 수행하여 뛰어난 샘플 효율성을 입증했다.
• 클릭-시나리오 또는 클릭-클릭 주의 메커니즘을 제거할 경우 최대 5.2%p의 IoU 감소가 발생하여 이들의 성능 향상에 핵심적인 역할을 함을 확인했다.
• KITTI-360에서 공간 및 시간 인코딩을 모두 포함할 경우 성능이 최대 5.4%p 향상되었으며, 특히 복잡하고 동적인 시나리오에서 두드러진다.
• 사용자 연구 결과, AGILE3D는 더 적은 클릭 수로 더 빠른 애너테이션을 가능하게 하였고, 사용자들은 순차적 방법 대비 세분화 결과에 대해 더 높은 자신감을 보였다.
• 모델은 예측되지 않은 객체 카테고리로도 잘 일반화되며 강력한 제로샷 성능을 달성한다. 특히 클릭-클릭 주의를 통해 다른 객체 간의 추론 능력이 향상된다.