[논문 리뷰] Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds

Jiacheng Wei, Guosheng Lin외 3명|arXiv (Cornell University)|2020. 03. 29.

3D Shape Modeling and Analysis참고 문헌 42인용 수 15

한 줄 요약

이 논문은 점군 수준의 레이블 대신 스캔 수준 또는 서브클라우드 수준의 레이블만을 사용하는 약한 감독 3D 세분화 방법을 제안한다. 다중 경로 영역 마이닝(MPRM) 모듈을 도입하여 공간, 채널, 점 수준의 주의 메커니즘을 활용해 약한 감독 분류 네트워크로부터 정확한 가짜 점 수준 레이블을 생성한다. 이 방법은 스캔넷에서 41.1 mIoU의 경쟁적인 성능을 달성하며, PointNet++ 및 SPLATNet과 같은 일부 완전 감독 모델을 뛰어넘는다. 이는 최소한의 레이블링 노력으로도 약한 감독 3D 세분화가 가능하다는 것을 보여준다.

ABSTRACT

Point clouds provide intrinsic geometric information and surface context for scene understanding. Existing methods for point cloud segmentation require a large amount of fully labeled data. Using advanced depth sensors, collection of large scale 3D dataset is no longer a cumbersome process. However, manually producing point-level label on the large scale dataset is time and labor-intensive. In this paper, we propose a weakly supervised approach to predict point-level results using weak labels on 3D point clouds. We introduce our multi-path region mining module to generate pseudo point-level label from a classification network trained with weak labels. It mines the localization cues for each class from various aspects of the network feature using different attention modules. Then, we use the point-level pseudo labels to train a point cloud segmentation network in a fully supervised manner. To the best of our knowledge, this is the first method that uses cloud-level weak labels on raw 3D space to train a point cloud semantic segmentation network. In our setting, the 3D weak labels only indicate the classes that appeared in our input sample. We discuss both scene- and subcloud-level weakly labels on raw 3D point cloud data and perform in-depth experiments on them. On ScanNet dataset, our result trained with subcloud-level labels is compatible with some fully supervised methods.

연구 동기 및 목표

• 완전 감독 3D 세분화의 높은 레이블링 비용을 줄이기 위해 스캔 수준 또는 서브클라우드 수준의 약한 레이블을 사용하는 것.
• 점 수준의 레이블이 없이도 약한 감독 분류 네트워크에서 정확한 점 수준의 가짜 레이블을 생성하는 방법을 개발하는 것.
• 큰 객체가 지배하는 환경에서 소형 또는 덜 두드러지는 객체(예: 문, 창문)의 국소화를 다중 경로 주의 메커니즘을 활용해 향상시키는 것.
• 서브클라우드 수준의 약한 감독 학습이 스캔 수준의 약한 감독보다 우수하며, 일부 완전 감독 방법과 경쟁 가능하다는 것을 입증하는 것.

제안 방법

• 분류 백본 뒤에 공간, 채널, 점 수준의 공간 주의 모듈을 적용하는 다중 경로 영역 마이닝(MPRM) 모듈을 도입하여 다양한 특징 표현을 추출한다.
• 각 주의 경로에 대해 점 클래스 활성화 맵(PCAM)을 적용하여 클래스별 영역을 국소화하고 가짜 마스크를 생성한다.
• 저수준 특징과 상호 쌍의 부드러움을 고려하여 가짜 레이블을 개선하기 위해 조건부 무작위 필드(dCRF)를 사용한다.
• 정련된 가짜 레이블을 기반으로 완전 감독 방식으로 전체 스케일의 3D 세분화 네트워크를 훈련시킨다.
• 경로 간 가짜 레이블을 요소별 최대값 융합하여 클래스별 점수 균형을 유지한다.
• 두 가지 약한 감독 전략을 평가한다: 스캔 수준(전체 스캔 내 클래스 존재 여부)과 서브클라우드 수준(구형 서브샘플 내 클래스 존재 여부)이며, 서브클라우드 수준이 훨씬 더 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 점 수준의 레이블 대신 클라우드 수준의 레이블(스캔 수준 또는 서브클라우드 수준)만을 사용해 약한 감독 3D 세분화를 효과적으로 훈련시킬 수 있는가?
• RQ2 약한 레이블로 훈련된 분류 네트워크가 세분화를 위해 정확하고 국소화된 점 수준의 가짜 레이블을 어떻게 생성할 수 있는가?
• RQ3 표준 CAM 대비 다중 경로 주의 마이닝이 3D 환경에서 소형 또는 덜 두드러지는 객체의 국소화를 얼마나 향상시키는가?
• RQ4 서브클라우드 수준의 약한 감독은 스캔 수준 감독 대비 세분화 성능에서 어떻게 비교되는가?
• RQ5 dCRF 후처리 통합이 가짜 레이블 품질과 후속 세분화 정확도를 더욱 향상시키는가?

주요 결과

• 제안된 방법은 서브클라우드 수준의 약한 감독을 사용하여 스캔넷 테스트 세트에서 41.1 mIoU의 성능을 달성했으며, PointNet++(33.9 mIoU) 및 SPLATNet(39.3 mIoU)와 같은 일부 완전 감독 모델을 뛰어넘었다.
• MPRM 모듈은 표준 CAM이 자주 간과하는 소형 또는 덜 두드러지는 클래스(예: 문, 창문)의 성능을 크게 향상시켰으며, 특히 스캔 수준 감독 하에서 두드러졌다.
• 공간 주의 경로만으로도 개별 경로 중 가장 우수한 성능를 보였으며, 원본 PCAM + 세 가지 주의 모듈을 포함한 네 개의 경로를 모두 융합한 경우 mIoU가 가장 높았다. 이는 상호 보완적인 특징 학습이 가능하다는 것을 입증한다.
• 경로 간 가짜 레이블을 요소별 최대값 융합하는 것이 요소별 합산 융합보다 우수한 성능을 보였으며, 이는 클래스 점수 균형이 최종 예측에 지배당하는 것을 방지하기 때문이다.
• 가짜 레이블을 기반으로 전체 세분화 네트워크를 재학습하는 것이 원시 특징 맵을 사용하는 것보다 더 높은 성능을 보였으며, 이는 더 깊은 네트워크가 정련된 가짜 레이블에서 더 큰 이점을 얻는다는 것을 시사한다.
• 서브클라우드 수준의 레이블로 훈련한 모델이 스캔 수준 레이블로 훈련한 모델보다 훨씬 뛰어난 성능을 보였으며, 이는 서브클라우드 수준 감독이 레이블링 비용을 줄이면서도 국소화 정확도를 향상시키는 데 효과적이라는 것을 입증한다.