[논문 리뷰] OctreeOcc: Efficient and Multi-Granularity Occupancy Prediction Using Octree Queries

Yuhang Lu, Xinge Zhu외 2명|arXiv (Cornell University)|2023. 12. 06.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

OctreeOcc는 다중 해상도 시나리오 표현을 가능하게 하는 적응형 옥트리 구조 질의를 사용하는 새로운 3D 점유 예측 프레임워크를 제안한다. 이는 계산 오버헤드를 크게 줄이며 정확도를 향상시킨다. 의미 지도 초기화와 반복적 구조 교정을 통합함으로써, nuScenes와 SemanticKITTI에서 밀도 그리드 방법 대비 15%-24% 낮은 계산 비용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Occupancy prediction has increasingly garnered attention in recent years for its fine-grained understanding of 3D scenes. Traditional approaches typically rely on dense, regular grid representations, which often leads to excessive computational demands and a loss of spatial details for small objects. This paper introduces OctreeOcc, an innovative 3D occupancy prediction framework that leverages the octree representation to adaptively capture valuable information in 3D, offering variable granularity to accommodate object shapes and semantic regions of varying sizes and complexities. In particular, we incorporate image semantic information to improve the accuracy of initial octree structures and design an effective rectification mechanism to refine the octree structure iteratively. Our extensive evaluations show that OctreeOcc not only surpasses state-of-the-art methods in occupancy prediction, but also achieves a 15%-24% reduction in computational overhead compared to dense-grid-based methods.

연구 동기 및 목표

• 빈번한 3D 시나리오에서 큰 빈 영역을 가진 경우에 발생하는 밀도 그리드 3D 점유 예측의 높은 계산 비용을 해결한다.
• 고정 해상도 바이트 격자 구조의 한계를 극복하여 다양한 객체 크기와 공간 복잡도에 적응하지 못하는 문제를 해결한다.
• 옥트리의 계층적 성질을 활용해 가변 해상도 표현을 가능하게 하여, 작은 객체에 대한 공간적 세부 정보를 유지하면서도 빈 영역에 대한 계산을 줄인다.
• 2D 이미지에서의 초기 옥트리 구조 예측을 향상시키기 위해 의미 정보를 통합하고, 저신뢰도 영역을 반복적으로 보정한다.
• 옥트리 기반 질의 메커니즘이 정확도와 효율성 측면에서 밀도 그리드 기반 베이스라인을 능가할 수 있음을 입증한다.

제안 방법

• 계층적 옥트리 구조에 기반해 동적으로 3D 질의를 구성하는 옥트리 질의 메커니즘을 제안하여 다중 해상도 특징 집약을 가능하게 한다.
• 이미지의 의미 특징을 사전 정보로 활용해 정확한 초기 옥트리 구조를 생성하는 의미 지도 옥트리 초기화를 도입한다.
• 암호화된 질의에서 보정을 예측함으로써 저신뢰도 영역에 집중하는 반복적 구조 교정 모듈을 설계한다.
• 장면의 복잡도와 객체 해상도 분포에 따라 각 옥트리 수준의 질의 수를 조정하는 학습 가능한 질의 선택 전략을 사용한다.
• 각 옥트리 수준의 리프 노드 특징에서 질의를 구성함으로써 희소하지만 효과적인 3D 특징 표현을 가능하게 하고 메모리 사용량을 줄인다.
• 실제 점유 레이블을 기반으로 한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 옥트리 기반 질의 메커니즘이 3D 점유 예측에서 밀도 그리드 표현보다 더 높은 효율성과 정확도를 달성할 수 있는가?
• RQ2 2D 이미지에서의 의미 지도가 옥트리 구조 초기화에 얼마나 효과적인가? 이는 3D 시나리오 이해를 향상시키는가?
• RQ3 옥트리 구조의 반복적 교정이 예측 정확도와 강건성에 얼마나 기여하는가?
• RQ4 다양한 옥트리 수준에서 질의 선택 비율을 최적화하면 성능을 극대화하면서 계산 비용을 최소화할 수 있는가?
• RQ5 옥트리의 깊이를 변화시킬 경우, 메모리 소비, 추론 속도, 예측 정확도 사이의 트레이드오���은 어떻게 변화하는가?

주요 결과

• OctreeOcc는 nuScenes와 SemanticKITTI 벤치마크에서 기존의 밀도 그리드 및 희소 기반 베이스라인을 능가하는 최신 기술 수준의 mIoU 성능을 달성한다.
• 밀도 그리드 기반 방법 대비 15%에서 24%까지 계산 오버헤드를 감소시키며, A40 GPU에서 25% 질의 선택 비율로 220ms의 추론 지연 시간을 기록한다.
• 의미 지도 옥트리 초기화 모듈은 무작위 초기화 대비 1.7 mIoU 향상을 이끌어내어 의미 사전 정보의 구조 예측에 대한 가치를 입증한다.
• 반복적 구조 교정 모듈은 옥트리 품질 향상을 이끌어내었으며, 시각화 결과에서 교정된 구조가 시나리오 기하학과 더 잘 일치하는 것으로 확인되었다.
• 최적의 질의 비율은 각 옥트리 수준에서 다를 수 있다: 과도한 세밀한 질의는 성능 저하를 유도하고, 과도한 굵은 영역 모델링은 효율성을 떨어뜨린다.
• 심도가 깊은 옥트리 구조(예: 200×200×16)와 적응형 질의 선택 전략을 통해 밀도 질의 방법 대비 높은 성능을 달성하면서도 기존 방법의 과도한 메모리 사용(80GB 이상)을 피할 수 있다.