[논문 리뷰] One Thing One Click: A Self-Training Approach for Weakly Supervised 3D Semantic Segmentation

Zhengzhe Liu, Xiaojuan Qi외 1명|arXiv (Cornell University)|2021. 04. 06.

3D Shape Modeling and Analysis참고 문헌 55인용 수 12

한 줄 요약

이 논문은 3D 세분화에서 한 객체당 하나의 레이블링 포인트만 필요로 하는 자기학습 프레임워크를 제안한다. 이를 'One Thing One Click'이라 하며, 전체 레이블링의 0.02%만 사용해도 완전 supervision 방법과 유사한 성능을 달성한다. 이는 유사도 학습을 위한 관계 네트워크를 갖춘 그래프 전파 모듈과 의사 레이블을 반복적으로 개선하는 메모리 백업을 활용하여, 레이블링 비용을 크게 줄이면서도 ScanNet-v2 및 S3DIS에서 높은 정확도를 유지한다.

ABSTRACT

Point cloud semantic segmentation often requires largescale annotated training data, but clearly, point-wise labels are too tedious to prepare. While some recent methods propose to train a 3D network with small percentages of point labels, we take the approach to an extreme and propose "One Thing One Click," meaning that the annotator only needs to label one point per object. To leverage these extremely sparse labels in network training, we design a novel self-training approach, in which we iteratively conduct the training and label propagation, facilitated by a graph propagation module. Also, we adopt a relation network to generate per-category prototype and explicitly model the similarity among graph nodes to generate pseudo labels to guide the iterative training. Experimental results on both ScanNet-v2 and S3DIS show that our self-training approach, with extremely-sparse annotations, outperforms all existing weakly supervised methods for 3D semantic segmentation by a large margin, and our results are also comparable to those of the fully supervised counterparts.

연구 동기 및 목표

• 3D 세분화에서 레이블링 부담을 극도로 줄이기 위해 한 객체당 하나의 레이블링 포인트만 요구한다.
• 매우 희박한 약한 supervision 레이블에서 강력한 모델을 훈련시키는 데 도전한다.
• 그래프 기반 레이블 전파를 통해 반복적으로 의사 레이블 품질을 향상시키는 자기학습 프레임워크를 개발한다.
• 최소한의 인간 노력으로 높은 성능의 3D 세분화를 가능하게 하여, 완전 supervision 성능에 근접한다.

제안 방법

• 이 방법은 'One Thing One Click' 레이블링 체계를 사용하여, 한 객체당 한 포인트만 레이블링함으로써 ScanNet-v2 씬당 레이블링 시간을 2분 이내로 줄인다.
• 초기 세분화 예측을 위해 3D U-Net 백본을 사용하고, 이후 의사 레이블 개선을 반복하는 자기학습을 수행한다.
• 초보크셀 기반 그래프 전파 모듈이 학습된 노드 유사도를 바탕으로 의사 레이블을 포인트 클라우드 전역으로 확산시킨다.
• 관계 네트워크는 3D 특징을 이용해 초보크셀 간 고수준 기하학적 유사도를 학습함으로써, 수작업으로 만든 특징(예: 좌표, 색상)을 넘어서 레이블 전파 정확도를 향상시킨다.
• 메모리 백업은 희귀하거나 수자리가 적은 클래스에 대해 유사도 학습을 안정화시키기 위해 카테고리별 프로토타입을 유지한다.
• 이 프레임워크는 학습 및 추론 모두에서 그래프 전파와 관계 네트워크를 통합하여 의사 레이블의 종단 간 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 한 객체당 하나의 레이블링 포인트만 사용해도 3D 세분화가 완전 supervision 수준의 성능에 근접할 수 있는가?
• RQ2 매우 낮은 supervision 수준과 높은 기하학적 복잡도를 가진 3D 포인트 클라우드에서 의사 레이블을 효과적으로 전파할 수 있는가?
• RQ3 관계 네트워크가 수작업으로 만든 특징을 넘어서 3D 초보크셀 간의 유사도 학습을 향상시킬 수 있는가?
• RQ4 메모리 백업이 약한 supervision 3D 세분화에서 희귀 카테고리의 프로토타입 학습을 안정화시키는 데 어떤 역할을 하는가?
• RQ5 그래프 전파를 통한 반복 자기학습이 더 높은 레이블링 예산을 가진 기존의 약한 supervision 방법보다 현저히 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 ScanNet-v2 검증 세트에서 mIoU 70.45를 달성하여, 기존의 모든 약한 supervision 방법보다 뛰어난 성능을 보였으며, 레이블링 포인트의 비율은 단지 0.02%에 불과했다.
• 한 객체당 하나의 레이블링만으로도 이전의 약한 supervision 접근법보다 크게 앞서며, 훨씬 더 많은 레이블링을 사용한 방법들조차도 압도했다.
• 제거 실험 결과 각 구성 요소—자기학습, 그래프 전파, 관계 네트워크, 메모리 백업—이 성능 향상에 기여하며, 전체 모델이 가장 높은 mIoU를 기록함을 확인했다.
• 희귀 카테고리의 프로토타입 안정화를 위해 메모리 백업이 핵심적임을 입증하였으며, 이를 제거하면 관계 네트워크를 사용하지 않은 경우와 유사한 성능 저하가 발생했다.
• 완전 supervision 기반 모델과 유사한 성능을 달성하여, 극도로 효율적인 레이블링이 효과적인 자기학습과 결합될 경우 모델 일반화 능력이 손상되지 않음을 보여주었다.