[논문 리뷰] Improving Semantic Analysis on Point Clouds via Auxiliary Supervision of Local Geometric Priors

Lulu Tang, Ke Chen외 4명|arXiv (Cornell University)|2020. 01. 14.

3D Shape Modeling and Analysis참고 문헌 54인용 수 11

한 줄 요약

이 논문은 국소 기하 속성(예: 법선 및 곡률)을 보조 지도 신호로 사용하여 3차원 포인트 클라우드의 의미적 분석을 향상시키는 자기지도 기반 기하학적 학습 프레임워크를 제안한다. 의미 분할 또는 분류와 함께 이러한 기하 사전 지식을 예측하도록 딥 네트워크를 동시 학습시킴으로써, 이 방법은 최신 기술 수준의 성능을 달성하며, ModelNet40에서 평균 정확도 93.5%를 기록하고 기존 기준 모델보다 노이즈에 더 강건하고 일반화 능력이 뛰어나다.

ABSTRACT

Existing deep learning algorithms for point cloud analysis mainly concern discovering semantic patterns from global configuration of local geometries in a supervised learning manner. However, very few explore geometric properties revealing local surface manifolds embedded in 3D Euclidean space to discriminate semantic classes or object parts as additional supervision signals. This paper is the first attempt to propose a unique multi-task geometric learning network to improve semantic analysis by auxiliary geometric learning with local shape properties, which can be either generated via physical computation from point clouds themselves as self-supervision signals or provided as privileged information. Owing to explicitly encoding local shape manifolds in favor of semantic analysis, the proposed geometric self-supervised and privileged learning algorithms can achieve superior performance to their backbone baselines and other state-of-the-art methods, which are verified in the experiments on the popular benchmarks.

연구 동기 및 목표

• 국소 기하 속성을 보조 지도 신호로 활용하여 3차원 포인트 클라우드의 의미 분할 및 분류 성능을 향상시키는 것.
• 3차원 시각 분야에서 레이블이 부족한 문제를 기하 사전 지식 기반 자기지도 학습 프레임워크를 도입하여 해결하는 것.
• 기하 속성(법선, 곡률)을 보조 작업으로 학습함으로써 딥 신경망의 표현 품질 향상이 가능함을 입증하는 것.
• 기하 회귀를 통한 다중 작업 학습의 효과를 검증하여 후행 의미 분석 성능 향상 여부를 확인하는 것.
• 대규모 형상 데이터셋(예: ShapeNetCore)에서 사전 훈련을 통해 기하 사전 지식을 학습시켜 후행 작업의 일반화 능력과 성능 향상에 기여하는지 탐색하는 것.

제안 방법

• 딥 네트워크가 원시 포인트 클라우드에서 의미 분할/분류와 함께 국소 기하 속성(법선 및 곡률)을 동시에 예측하도록 하는 다중 작업 학습 프레임워크를 도입한다.
• 기하 사전 지식은 국소 포인트 이웃 영역에서 표면 법선과 곡률을 계산하는 미분 가능 기하 계산 모듈을 통해 추정된다.
• 두 개의 손실 함수를加權 조합하여 사용한다: 하나는 의미 작업(분류 또는 분할)을 위한 것이고, 다른 하나는 기하 속성 회귀를 위한 것이며, 하이퍼파ram터 λ가 이 균형을 조절한다.
• 기하 속성으로부터 유도된 자기지도 신호를 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 이는 입력 포인트 클라우드에서 진짜 레이블이 필요 없이 계산된다.
• 프레임워크는 DGCNN 기반 아키텍처에 적용되었으며, ShapeNet Part 및 ModelNet40 데이터셋에서 평가되었으며, 손실 가중치 및 사전 훈련에 대한 분석 연구도 수행되었다.
• ShapeNetCore에서의 사전 훈련을 통해 네트워크를 기하 사전 지식으로 초기화함으로써, 분류 작업에서의 후행 성능 향상이 이루어졌다.

실험 결과

연구 질문

• RQ1 학습된 기하 속성을 보조 지도 신호로 사용함으로써 3차원 포인트 클라우드의 의미 분할 및 분류 성능 향상이 가능한가?
• RQ2 기하 사전 지식을 지도 신호로 사용하는 것과 기하 속성을 입력 특징으로 사용하는 것의 성능 및 강건성 측면에서의 비교는 어떠한가?
• RQ3 의미 분류 및 기하 회귀 손실 항목 간 최적의 균형(하이퍼파ram터 λ에 의해 제어됨)은 무엇이며, 이를 통해 분류 및 분할 정확도를 최대화할 수 있는가?
• RQ4 대규모 형상 데이터셋(예: ShapeNetCore)에서 기하 사전 지식을 기반으로 한 사전 훈련이 후행 작업 성능 향상에 얼마나 기여하는가?
• RQ5 노이즈 조건에서 기존 기하 계산 방법보다 기계학습 기반 기하 추정기의 정확도가 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 GeoSSL 방법은 ModelNet40에서 93.5%의 평균 분류 정확도를 달성하여 기준 DGCNN 및 기타 다중 작업 기준 모델을 초월한다.
• 분류 및 분할 작업을 다중 작업 환경에서 통합할 경우, 제안된 방법(GeoSSL cls+reg)은 분류 정확도 99.4%와 분할 IoU 85.7%를 기록하며, DGCNN 및 MTNet cls+seg를 모두 능가한다.
• 기존 계산 방법 대비 기하 추정 오차가 감소함: 노이즈가 있는 포인트 클라우드에서 학습된 법선 추정기는 기하 계산 대비 0.7332의余kosinüs 거리 오차를 기록함.
• 최적의 균형 하이퍼파ram터 λ는 [10⁻³, 10⁻²] 범위 내에 있으며, λ = 0.01일 때 GeoSSL_dgcnn에서 분류 정확도가 최고 수준인 92.9%를 기록한다.
• ShapeNetCore에서의 사전 훈련은 무작위 초기화 시 92.5%에서 92.9%로 분류 정확도 향상을 이끌어내어 기하 사전 지식 기반 보조 사전 훈련의 유용성을 입증한다.
• 시각화 결과에서 예측된 법선과 곡률이 진짜 값과 매우 잘 일치함을 확인하여, 모델이 정확한 기하 표현을 학습할 수 있음을 확인한다.