[논문 리뷰] BiPointNet: Binary Neural Network for Point Clouds

Haotong Qin, Zhongang Cai외 6명|arXiv (Cornell University)|2020. 10. 12.

3D Shape Modeling and Analysis참고 문헌 49인용 수 10

한 줄 요약

BiPointNet는 포인트 클라우드 딥 러닝을 위한 첫 번째 모델 이진화 프레임워크를 제안하며, 집계에 의한 특징 균일화와 이진화 네트워크에서의 스케일 왜곡이라는 두 가지 핵심 과제를 해결한다. 정보 엔트로피를 유지하기 위해 엔트로피 최대화 집계(EMA)를 제안하고, 특징 표현을 복원하기 위해 학습 가능한 스케일링 요소를 사용하는 계층별 스케일 복구(LSR)를 도입하여, 전체 정밀도 모델에 근접한 성능을 달성하면서도 엣지 디바이스에서 14.7배의 속도 향상과 18.9배의 스토리지 감소를 실현한다.

ABSTRACT

To alleviate the resource constraint for real-time point cloud applications that run on edge devices, in this paper we present BiPointNet, the first model binarization approach for efficient deep learning on point clouds. We discover that the immense performance drop of binarized models for point clouds mainly stems from two challenges: aggregation-induced feature homogenization that leads to a degradation of information entropy, and scale distortion that hinders optimization and invalidates scale-sensitive structures. With theoretical justifications and in-depth analysis, our BiPointNet introduces Entropy-Maximizing Aggregation (EMA) to modulate the distribution before aggregation for the maximum information entropy, and Layer-wise Scale Recovery (LSR) to efficiently restore feature representation capacity. Extensive experiments show that BiPointNet outperforms existing binarization methods by convincing margins, at the level even comparable with the full precision counterpart. We highlight that our techniques are generic, guaranteeing significant improvements on various fundamental tasks and mainstream backbones. Moreover, BiPointNet gives an impressive 14.7x speedup and 18.9x storage saving on real-world resource-constrained devices.

연구 동기 및 목표

• 집계에 의해 유도되는 특징 균일화와 스케일 왜곡으로 인해 이진화된 포인트 클라우드 네트워크에서 심각한 성능 저하가 발생하는 문제를 해결하기 위해.
• 자원 제약이 있는 엣지 디바이스에서 실시간 포인트 클라우드 응용을 위한 딥 러닝 모델의 효율적 배포를 가능하게 하기 위해.
• 다양한 포인트 클라우드 백본 아키텍처에 적용 가능한 일반적이고 효과적인 이진화 프레임워크를 개발하기 위해.
• 모델 정확도를 희생시키지 않고도 높은 추론 속도와 낮은 메모리 사용을 달성하기 위해.
• 이진화된 포인트 클라우드 네트워크에서의 성능 저하 메커니즘에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 특징 분포를 집계 이전에 조절하여 정보 엔트로피를 최대화하고 특징 균일화를 감소시키기 위해 엔트로피 최대화 집계(EMA)를 제안한다.
• 이중선형 레이어의 출력 스케일을 복원하여 스케일 왜곡을 완화하기 위해 각 레이어당 학습 가능한 스케일링 요소를 갖는 계층별 스케일 복구(LSR)를 도입한다.
• PointNet 백본에 EMA와 LSR를 적용하고, PointNet++, PointCNN, DGCNN, PointConv 등의 다른 아키텍처로도 확장한다.
• LSR에서 레이어당 단일 학습 가능한 파라미터를 사용하여 계산 및 메모리 오버헤드를 최소화한다.
• 사전 훈련 없이 초기화부터 훈련을 수행하기 위해 Adam 옵timizer를 사용하고, 코즈인 애너일링 학습률 스케줄링을 적용한다.
• 이진 네트워크에서 훈련 안정성과 최적화 성능을 향상시키기 위해 학습 가능한 스케일링 요소를 갖춘 이중선형 레이어를 설계한다.

실험 결과

연구 질문

• RQ1 왜 이진화된 포인트 클라우드 네트워크는 전체 정밀도 모델에 비해 심각한 성능 저하를 겪는가?
• RQ2 포인트 클라우드 네트워크에서의 전역 특징 집계가 이진화 조건에서 특징 균일화를 악화시키는 방식은 무엇인가?
• RQ3 이진화된 포인트 클라우드 네트워크에서 정보 엔트로피를 얼마나 잘 유지하고 최적화할 수 있는가?
• RQ4 스케일 왜곡이 이진화된 포인트 클라우드 모델의 최적화 및 구조적 기능에 미치는 영향은 어떠한가?
• RQ5 다양한 포인트 클라우드 네트워크 아키텍처에서 높은 성능을 유지할 수 있는 일반적인 이진화 프레임워크를 개발할 수 있는가?

주요 결과

• BiPointNet는 분류, 부분 세그멘테이션, 의미 세그멘테이션을 포함한 여러 포인트 클라우드 작업에서 전체 정밀도 모델에 비해 약 1-2% 이내의 성능을 달성한다.
• ShapeNet Part에서 BiPointNet는 평균 mIoU 80.3% (ema-avg)와 80.6% (ema-max)를 기록하여 기준 BNN보다 훨씬 뛰어난 성능(최대 54.0%)을 보였다.
• S3DIS에서 BiPointNet는 평균 mIoU 40.9% (ema-avg)와 44.3% (ema-max)를 달성했으며, 기준 BNN은 단지 9.5%에 그쳤다.
• 실제 엣지 디바이스에서 BiPointNet는 14.7배의 속도 향상과 18.9배의 스토리지 감소를 기록하여 뚜렷한 효율성 향상을 입증했다.
• 제거 실험을 통해 EMA와 LSR가 모두 필수적임을 확인하였으며, EMA는 엔트로피를 향상시키고 LSR는 스케일을 복원하며, 두 요소의 조합이 최고의 성능을 낳는다.
• PointNet++, PointCNN, DGCNN, PointConv를 포함한 여러 백본 아키텍처에 대해 효과적으로 일반화됨을 입증하여 광범위한 적용 가능성을 보였다.