[논문 리뷰] Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation

Li Jiang, Hengshuang Zhao외 4명|arXiv (Cornell University)|2019. 09. 23.

3D Shape Modeling and Analysis참고 문헌 29인용 수 32

한 줄 요약

이 논문은 이중 브랜치 아키텍처를 통해 점과 가장자리 특징을 함께 학습함으로써 3D 포인트 클라우드의 의미적 분할 성능을 향상시키는 계층적 포인트-가지 상호작용 네트워크를 제안한다. 계층적 그래프 구축과 가지 상향 샘플링을 통해 다층 포인트 특징을 점진적으로 가장자리 표현에 통합하고, 이를 바탕으로 의미 일致성 정규화를 통해 포인트 예측을 개선한다. 이로 인해 S3DIS 및 ScanNet 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We achieve 3D semantic scene labeling by exploring semantic relation between each point and its contextual neighbors through edges. Besides an encoder-decoder branch for predicting point labels, we construct an edge branch to hierarchically integrate point features and generate edge features. To incorporate point features in the edge branch, we establish a hierarchical graph framework, where the graph is initialized from a coarse layer and gradually enriched along the point decoding process. For each edge in the final graph, we predict a label to indicate the semantic consistency of the two connected points to enhance point prediction. At different layers, edge features are also fed into the corresponding point module to integrate contextual information for message passing enhancement in local regions. The two branches interact with each other and cooperate in segmentation. Decent experimental results on several 3D semantic labeling datasets demonstrate the effectiveness of our work.

연구 동기 및 목표

• 포인트와 그 국소 이웃 간의 의미 관계를 명시적으로 모델링하여 3D 포인트 클라우드의 의미적 분할 성능을 향상시키는 것.
• 기존의 포인트 기반 네트워크가 부족한 국소 맥락 정보를 명시적인 가지 모델링을 통해 보완하는 것.
• 다층 포인트 특징을 점진적으로 가장자리 표현에 통합하는 계층적 그래프 프레임워크를 설계하는 것.
• 이웃 포인트로부터 기하학적 및 의미적 맥락을 캡처하는 가장자리 특징을 융합하여 포인트 특징 학습을 향상시키는 것.
• 연결된 포인트 간의 의미 일치성을 이용해 가장자리 특징을 정규화함으로써 특징의 구분 능력을 향상시키는 것.

제안 방법

• 이 방법은 의미 분류를 위한 인코더-디코더 포인트 브랜치와 별도의 가장자리 브랜치를 통해 가장자리 특징을 학습하는 이중 브랜치 아키텍처를 사용한다.
• 가장자리 상향 샘플링을 통해 깊이 있는 레이어의 포인트 특징을 점진적으로 통합함으로써 굵은 층에서 시작하여 계층적 그래프를 구축한다.
• 연결된 노드의 포인트 특징을 조합하는 학습 가능한 함수를 사용하여 가장자리 특징을 계산하며, 연결(concatenation)이 가장 높은 성능을 보였다.
• 가장자리 특징은 포인트 브랜치로 피드백되어 국소 메시지 전달을 향상시키고 포인트 표현을 개선한다.
• 최종 가장자리 특징에 의미 일치성 손실을 적용하여 같은 클래스에 속한 포인트가 유사한 가장자리 표현을 가지도록 유도한다.
• 다양한 스케일의 가장자리 특징을 사용하여 레이어 간 포인트 특징을 풍부하게 하여 맥락 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 기본 포인트 기반 방법과 비교해 포인트와 이웃 간의 명시적 가지 모델링이 3D 의미적 분할 성능 향상에 기여하는가?
• RQ2 다층 포인트 특징을 가장자리 표현에 효과적으로 통합하는 방법은 무엇인가?
• RQ3 가장자리 특징에 의미 일치성을 강제 적용하면 특징의 구분 능력과 분할 정확도가 향상되는가?
• RQ4 기하학적 및 의미적 맥락을 모두 캡처하는 데 최적의 가장자리 특징 집계 함수는 무엇인가?
• RQ5 가지 상향 샘플링을 통한 계층적 그래프 구축 방식이 각 레이어별 독립적인 그래프 구축 방식보다 우수한가?

주요 결과

• 제안된 방법은 S3DIS 데이터셋에서 평균 교차율(mIoU) 67.83%를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• ScanNet v2 테스트 세트에서 mIoU는 61.8%를 기록하였으며, PointNet++(33.9%)와 PointCNN(45.8%)를 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, 포인트 특징의 연결(concatenation)이 가장자리 함수로서 가장 우수한 성능을 보였으며, 뺄셈, 덧셈, Hadamard 곱보다 뛰어났다.
• 계층적 그래프 구축과 가지 상향 샘플링을 제거하면 mIoU가 57.01%로 감소하여 다층 특징 통합의 중요성을 입증했다.
• softmax를 사용한 적응형 집계(AdaAggre) 방법은 최대 풀링 후 연결을 사용한 것보다 성능이 떨어져, 메시지 전달에 가중치를 적용하는 것보다 특징 조합이 더 효과적임을 시사한다.
• 의미 일치성 정규화를 적용한 가장자리 브랜치는 모든 벤치마크에서 더 높은 mIoU와 정확도를 기록함으로써 특징의 구분 능력을 향상시킨다는 것이 입증되었다.