[논문 리뷰] Deformable Filter Convolution for Point Cloud Reasoning

Yuwen Xiong, Mengye Ren외 3명|arXiv (Cornell University)|2019. 07. 30.

3D Shape Modeling and Analysis참고 문헌 44인용 수 16

한 줄 요약

이 논문은 고정된 바이트 격자에 의존하지 않고 포인트 클라우드 기하학에 맞게 필터 형상을 적응시키는 학습 가능한 3차원 컨볼루션 레이어인 Deformable Filter Convolution을 제안한다. 로컬 포인트 클라우드 구조에 맞게 필터를 변형하고, 입력 및 출력 스트림을 통해 바이트화된 백본에 통합함으로써, LiDAR 세분화 및 객체 검출에서 최신 기술 수준의 성능을 달성하였으며, 특히 자전거 타는 사람과 같은 드문 또는 희박한 클래스에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Point clouds are the native output of many real-world 3D sensors. To borrow the success of 2D convolutional network architectures, a majority of popular 3D perception models voxelize the points, which can result in a loss of local geometric details that cannot be recovered. In this paper, we propose a novel learnable convolution layer for processing 3D point cloud data directly. Instead of discretizing points into fixed voxels, we deform our learnable 3D filters to match with the point cloud shape. We propose to combine voxelized backbone networks with our deformable filter layer at 1) the network input stream and 2) the output prediction layers to enhance point level reasoning. We obtain state-of-the-art results on LiDAR semantic segmentation and producing a significant gain in performance on LiDAR object detection.

연구 동기 및 목표

• 고정 격자로 연속적인 포인트 클라우드를 이산화하는 바이트화된 3D CNN에서 발생하는 국소 기하학적 세부 정보 손실 문제를 해결하기 위해.
• 공간적 인덕티브 바이어스가 부족하고 희박하거나 비균일한 포인트 클라우드에서 어려움을 겪는 기존 포인트 기반 네트워크의 한계를 극복하기 위해.
• 바이트 기반 컨볼루션의 인덕티브 바이어스와 직접적인 포인트 처리의 기하학적 유연성을 결합한 학습 가능한 컨볼루션 레이어를 개발하기 위해.
• 입력 및 출력 단계에서 포인트와 관련된 특징을 융합함으로써 3차원 인식에서 포인트 수준의 추론을 향상시키기 위해.
• 전적으로 바이트화에 의존하거나 복잡한 포인트 기반 아키텍처를 사용하지 않고도 대규모 LiDAR 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 고정된 바이트 격자 대신 로컬 포인트 클라우드 기하학에 맞게 컨벌루션 커널 형상을 적응시키는 학습 가능한 3차원 필터 컨볼루션 레이어를 제안한다.
• 로컬 포인트 클라우드 구조에 기반해 필터의 위치와 형상을 조정할 수 있는 학습 가능한 변형 필드를 사용하여, 공간적으로 연속적이고 적응 가능한 특징 집합을 가능하게 한다.
• 보조 입력 스트림을 통해 향상된 특징 표현을 제공하고, 잔차 출력 스트림을 통해 국소 예측을 부드럽게 하는 방식으로, 바이트화된 네트워크에 변형 가능한 필터 레이어를 통합한다.
• 각 필터에 대한 변형 오프셋을 예측하기 위해 다층 퍼셉트론(MLP)을 사용하여 필터가 국소 포인트 밀도와 공간 구성에 동적으로 적응할 수 있도록 한다.
• 표준 포인트와 완전 연결 레이어를 새로운 레이어로 대체함으로써, PointNet 및 PointNet++ 아키텍처에 변형 가능한 컨볼루션을 적용하여 네트워크의 깊이와 너비를 유지한다.
• 표준 데이터 증강 및 학습률 감소 스케줄을 사용하여 KITTI 및 ModelNet40 벤치마크에서 SGD와 모멘텀을 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 로컬 포인트 클라우드 기하학에 맞게 필터 형상을 적응시키는 학습 가능한 3차원 컨볼루션 레이어가 고정된 바이트화를 초월해 3차원 인식 성능을 향상시킬 수 있는가?
• RQ2 바이트화된 백본 네트워크에 포인트 수준의 특징을 변형 가능한 필터를 통해 통합하면 세분화 및 객체 검출 성능이 향상되는가?
• RQ3 희박하거나 비균일한 포인트 클라우드에서 기존의 학습 가능한 연속 컨볼루션 방법과 비교해 본다면, 변형 가능한 필터 레이어는 얼마나 뛰어난 내성성과 성능을 보이는가?
• RQ4 제안된 방법이 전체 엔드 투 엔드 포인트 기반 네트워크에 의존하지 않고도 대규모 LiDAR 벤치마크인 TOR4D에서 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ5 학습된 필터 형상은 어떤가? 복잡한 기하 패턴을 포착하는 데 있어 선형 또는 고정된 필터와 어떻게 다를까?

주요 결과

• 제안된 방법은 대규모 LiDAR 세분화 벤치마크인 TOR4D에서 기존 바이트 전용 및 융합 기반 방법을 모두 능가하는 최신 기술 수준의 성능을 달성하였다.
• KITTI 검증 세트에서, ModelNet40 분류 작업에서 PointNet의 경우 mAP가 1.8% 향상되었고, PointNet++의 경우 1.0% 향상되었다.
• 이전 방법들이 데이터 부족으로 악영향을 받는 드문 클래스나 희박한 클래스인 자전거 타는 사람에 대해서도 변형 가능한 필터 레이어가 뚜렷한 성능 향상을 보였다.
• 시각화 결과에서 학습된 필터는 비선형적이고 표현력이 풍부하며, 강성 있거나 대칭적인 형태에 제약을 받지 않고 복잡한 3차원 형태에 적응하는 것으로 나타났다.
• HDNet 기준 백업에 비해 객체 검출 성능 향상으로 mAP가 자동차 1.8%, 보행자 2.1%, 자전거 타는 사람 3.5% 향상되었다.
• 제거 분석 결과, 입력 스트림과 출력 스트림의 통합이 성능 향상에 기여하며, 특히 국소 예측을 정밀하게 다듬는 데 출력 스트림이 특히 효과적임을 확인하였다.