[논문 리뷰] A Closer Look at Local Aggregation Operators in Point Cloud Analysis

Ze Liu, Hu Han외 3명|arXiv (Cornell University)|2020. 07. 02.

3D Shape Modeling and Analysis참고 문헌 36인용 수 20

한 줄 요약

이 논문은 포인트 클라우드 처리를 위한 경량 로컬 집계 연산자인 포지션 풀링(PosXPool)을 제안한다. 이는 요소별 곱셈을 통해 점 포인트 특징과 3D 상대 좌표를 결합한 후 평균 풀링을 수행하며, ModelNet40, S3DIS, PartNet 벤치마크에서 최신 기술 수준의 성능을 달성한다. 기존의 복잡한 학습 가능한 연산자들을 능가하며, 특히 PartNet에서 7.4 mIoU 향상으로 뛰어난 성능을 보였다.

ABSTRACT

Recent advances of network architecture for point cloud processing are mainly driven by new designs of local aggregation operators. However, the impact of these operators to network performance is not carefully investigated due to different overall network architecture and implementation details in each solution. Meanwhile, most of operators are only applied in shallow architectures. In this paper, we revisit the representative local aggregation operators and study their performance using the same deep residual architecture. Our investigation reveals that despite the different designs of these operators, all of these operators make surprisingly similar contributions to the network performance under the same network input and feature numbers and result in the state-of-the-art accuracy on standard benchmarks. This finding stimulate us to rethink the necessity of sophisticated design of local aggregation operator for point cloud processing. To this end, we propose a simple local aggregation operator without learnable weights, named Position Pooling (PosPool), which performs similarly or slightly better than existing sophisticated operators. In particular, a simple deep residual network with PosPool layers achieves outstanding performance on all benchmarks, which outperforms the previous state-of-the methods on the challenging PartNet datasets by a large margin (7.4 mIoU). The code is publicly available at https://github.com/zeliu98/CloserLook3D

연구 동기 및 목표

• 아키텍처 및 구현의 변동성을 제거함으로써 동일한 심층 잔차 아키텍처에서 다양한 로컬 집계 연산자의 영향을 공정하게 평가하기 위해.
• 심층 네트워크에서 높은 성능을 내기 위해 고도로 복잡한 학습 가능한 집계 연산자가 실제로 필수적인지 조사하기 위해.
• 최소한의 비매개변수형 연산자가 기존의 복잡한 설계와 동일하거나 그 이상의 성능를 달성할 수 있는지 탐색하기 위해.
• 일致한 심층 잔차 아키텍처 하에서 로컬 집계 연산자 간의 공정한 비교를 위한 기준 벤치마크를 확립하기 위해.

제안 방법

• 이웃 포인트의 특징와 3D 상대 좌표 간의 요소별 곱셈을 수행하는 가중치가 없는 로컬 집계 연산자인 포지션 풀링(PosXPool)을 제안한다.
• 결과로 얻어진 곱셈 결과에 대해 평균 풀링을 적용하여 이웃 정보를 중심 포인트의 단일 특징 벡터로 집계한다.
• 모든 레이어에서 공유 가중치를 사용하고 집계 모듈에 학습 가능한 파rameter가 없는 심층 잔차 네트워크를 백본으로 사용한다.
• ModelNet40, S3DIS, PartNet 세 가지 벤치마크에 걸쳐 통일된 실험 설정을 적용하여 동일한 데이터 분할, 입력 해상도, 학습/추론 프로토콜을 확보한다.
• 최종 예측 이전의 활성화 맵을 시각화하여 다양한 연산자 간의 특징 학습 패턴을 비교한다.
• 모델의 깊이, 너비, 버팀목 비율을 변화시켜 성능을 평가함으로써 내구성과 적응 가능성 여부를 분석한다.

실험 결과

연구 질문

• RQ1 동일한 심층 잔차 아키텍처에서 평가할 경우, 다양한 로컬 집계 연산자가 네트워크 성능에 서로 다른 영향을 미치는가?
• RQ2 PosPool와 같은 단순하고 비매개변수형 연산자가 복잡한 학습 가능한 연산자와 비교해 유사하거나 뛰어난 성능을 낼 수 있는가?
• RQ3 기존 연산자의 성능는 모델 용량(깊이, 너비, 버팀목 비율) 변화에 따라 어떻게 변하는가?
• RQ4 다른 연산자들이 동일한 입력 포인트 클라우드로부터 유사한지 또는 다른 표현을 학습하는가?

주요 결과

• 모든 평가된 로컬 집계 연산자들은 설계 및 동기화가 다름에도 불구하고 적절히 튜닝된 경우 ModelNet40, S3DIS, PartNet에서 최신 기술 수준의 성능를 달성한다.
• 포지션 풀링(PosXPool)은 도전적인 PartNet 데이터셋에서 가장 뛰어난 성능를 기록하며, 검증 세트에서 이전 최고 기록을 7.4 mIoU 초과하여 뛰어넘었다.
• PosPool는 다양한 모델 용량에서 뛰어난 안정성을 보였고, 'AdaptWeight'와 같은 더 복잡한 연산자들은 모델의 깊이나 너비가 감소할수록 정확도가 심각하게 떨어지는 경향을 보였다.
• 활성화 맵의 시각화 결과, 다양한 연산자들이 입력 포인트 클라우드의 유사한 고에너지 영역을 학습하는 것으로 나타나, 아키텍처의 차이에도 불구하고 특징 표현이 수렴하는 경향을 보였다.
• PosPool에 학습 가능한 가중치가 없어 메모리 및 계산 비용이 극도로 낮으며, 시간 복잡도는 O(ndK), 공간 복잡도는 O(0)이다.