[논문 리뷰] Pyramid Point: A Multi-Level Focusing Network for Revisiting Feature Layers

Nina Varney, Vijayan K. Asari외 1명|arXiv (Cornell University)|2020. 11. 17.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 3D 포인트 클라우드의 의미적 분할을 위한 다중 수준 집중 네트워크인 Pyramid Point을 제안한다. 밀도 높은 피라미드 구조를 사용하여 인코더 및 디코더의 모든 레이어 간 특징 융합을 가능하게 하여 맥락 이해를 향상시키고 노이즈를 감소시킨다. Focused Kernel Point Convolution (FKP Conv)을 도입하여 공간적 및 채널 주의 메커니즘을 적용함으로써 특징 품질을 향상시키며, DALES 및 Paris-Lille 3D에서 최신 기술(SOTA) 성능을 달성하고, Semantic3D에서는 경쟁력 있는 결과를 얻는다.

ABSTRACT

We present a method to learn a diverse group of object categories from an unordered point set. We propose our Pyramid Point network, which uses a dense pyramid structure instead of the traditional 'U' shape, typically seen in semantic segmentation networks. This pyramid structure gives a second look, allowing the network to revisit different layers simultaneously, increasing the contextual information by creating additional layers with less noise. We introduce a Focused Kernel Point convolution (FKP Conv), which expands on the traditional point convolutions by adding an attention mechanism to the kernel outputs. This FKP Conv increases our feature quality and allows us to weigh the kernel outputs dynamically. These FKP Convs are the central part of our Recurrent FKP Bottleneck block, which makes up the backbone of our encoder. With this distinct network, we demonstrate competitive performance on three benchmark data sets. We also perform an ablation study to show the positive effects of each element in our FKP Conv.

연구 동기 및 목표

• U-Net 기반 네트워크가 3D 포인트 클라우드 분할에서 해상도 손실으로 인한 세부 사항 처리 부족 등의 한계를 해결하기 위해.
• 비정형적이고 희박한 3D 포인트 클라우드에서의 특징 표현을 향상시키기 위해 인코더 및 디코더 레이어 간 다중 수준 특징 융합을 가능하게 하기 위해.
• 핵심 포인트 컨볼루션을 주의 메커니즘으로 개선하여 특징 출력을 동적으로 가중함으로써 특징 품질과 강건성을 향상시키기 위해.
• 항공, 이동식, 지상 기반 LiDAR 데이터 셋을 포함한 다양한 LiDAR 데이터 세트에서 네트워크의 일반화 능력과 다양한 포인트 클라우드 특성에 대한 강건성을 입증하기 위해.

제안 방법

• Pyramid Point 네트워크는 표준 U-Net 아키텍처 대신 밀도 높은 피라미드 구조를 사용하여, 동일 크기의 인코더 및 디코더 레이어 간뿐만 아니라 다양한 수준 간 특징 융합도 가능하게 한다.
• 핵심은 Recurrent FKP Bottleneck 블록으로, Focused Kernel Point Convolution (FKP Conv)을 사용하여 핵심 출력에 공간적 및 채널 주의를 적용함으로써 특징의 동적 가중치를 부여한다.
• FKP Conv는 기존의 핵심 포인트 컨볼루션을 개선하여 핵심 반응에 대해 최댓값 및 평균 풀링을 적용하고, 이를 학습 가능한 주의 메커니즘을 통해 융합함으로써 특징 맵을 정밀하게 개선한다.
• 모든 인코더 및 디코더 레이어의 특징 맵을 다수 수준에서 업샘플링하고 연결함으로써 다양하고 넓은 수신장과 더불어 더 풍부하고 노이즈가 적은 표현을 생성한다.
• 네트워크는 다중 척도 특징 집약 전략을 사용하여 디코딩 경로의 초기 단계에서 저수준 특징을 재방문함으로써 깊은 디코더 스택에서의 노이즈 누적을 줄인다.
• 아키텍처는 모든 수준에 걸쳐 스킵 연결을 지원하여 엔드 투 엔드 학습이 가능하게 하며, 효과적인 기울기 전파를 통해 세밀한 물체 세부 사항의 학습을 향상시킨다.

Figure 1 : Example of the fundamental concept of our Pyramid Point network. The final output is based not only on an upsampling from the previous layers; but also on features from all network layers. By upsampling from each layer and then concatenating the features, we can get a richer combination w

실험 결과

연구 질문

• RQ1 표준 U-Net 아키텍처와 비교해 볼 때, 다중 수준 특징 융합을 가능하게 하는 밀도 높은 피라미드 구조가 3D 포인트 클라우드의 의미적 분할 성능 향상에 기여하는가?
• RQ2 FKP Conv를 통해 핵심 포인트 컨볼루션에 공간적 및 채널 주의를 통합할 경우, 특징 품질 및 분할 정확도에 측정 가능한 향상이 이루어지는가?
• RQ3 FKP Bottleneck 블록 내의 반복 히든 레이어 수가 다양한 LiDAR 데이터 세트에서 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 FKP Conv의 풀링 전략(최댓값, 평균, 또는 둘 다) 선택이 최종 분할 mIoU에 어떤 영향을 미치는가?
• RQ5 제안된 네트워크는 다양한 센서 유형, 해상도, 가림 패턴을 가진 3D 포인트 클라우드 데이터 세트에서 경쟁력 있거나 초우수한 성능을 달성할 수 있는가?

주요 결과

• DALES 데이터셋에서 Pyramid Point는 발표된 모든 방법들 중 가장 높은 mIoU를 기록했으며, RandLA-Net 및 KPConv를 포함한 모든 베이스라인을 초월했다.
• Paris-Lille 3D 데이터셋에서 Pyramid Point는 90.2%의 최고 mIoU를 기록하여, 고도화된 주의 메커니즘을 사용한 다른 모든 발표된 모델을 뛰어넘었다.
• reduced-8 Semantic3D 벤치마크에서 Pyramid Point는 mIoU 83.2%를 기록하여 전체 순위에서 2위를 차지했으며, RandLA-Net에 0.1%의 차이로 뒤져서 매우 경쟁적인 성능를 보였다.
• 제거 실험 결과, 핵심 포인트 컨볼루션에 주의를 추가한 FKP Conv는 표준 핵심 포인트 컨볼루션 대비 mIoU를 4.7%p 향상시켰다.
• 반복 FKP Bottleneck의 최적 히든 레이어 수는 3개였으며, 4개로 증가시킬 경우 성능이 저하되어 표현 능력과 과적합 사이의 상충 관계가 드러났다.
• FKP Conv의 주의 메커니즘에서 최댓값 및 평균 풀링을 함께 사용할 경우 최고의 성능(mIoU 90.2)을 기록했으며, 단일 풀링 전략 대비 각각 3.1점 및 1.9점 향상되었다.

Figure 2 : Example of the architecture of our Pyramid Point network. We construct the architecture in an inverse dense pyramid shape instead of the typical U shape. At the third layer, features are both downsampled and upsampled, and similarly, dimensioned layers are concatenated together in the fin