[논문 리뷰] 3D-to-2D Distillation for Indoor Scene Parsing

Zhengzhe Liu, Xiaojuan Qi외 1명|arXiv (Cornell University)|2021. 04. 06.

Advanced Vision and Imaging참고 문헌 73인용 수 5

한 줄 요약

이 논문은 3D 데이터를 추론 시에 필요로 하지 않고, 대규모 3D 데이터셋(예: ScanNet-v2)의 3D 특징을 2D CNN에 전이하는 3D에서 2D로의 정규화 프레임워크를 제안한다. 이중 단계의 차원 정규화와 의미 인식형 적대적 손실을 통해 2D 네트워크는 막힘과 시점에 강인한 특징을 학습할 수 있으며, 이로 인해 최신 기술 수준의 성능을 달성하고 일반화 능력이 향상되며, 미사용 도메인에서 mIoU가 19.08%에서 27.22%로 향상된다.

ABSTRACT

Indoor scene semantic parsing from RGB images is very challenging due to occlusions, object distortion, and viewpoint variations. Going beyond prior works that leverage geometry information, typically paired depth maps, we present a new approach, a 3D-to-2D distillation framework, that enables us to leverage 3D features extracted from large-scale 3D data repository (e.g., ScanNet-v2) to enhance 2D features extracted from RGB images. Our work has three novel contributions. First, we distill 3D knowledge from a pretrained 3D network to supervise a 2D network to learn simulated 3D features from 2D features during the training, so the 2D network can infer without requiring 3D data. Second, we design a two-stage dimension normalization scheme to calibrate the 2D and 3D features for better integration. Third, we design a semantic-aware adversarial training model to extend our framework for training with unpaired 3D data. Extensive experiments on various datasets, ScanNet-V2, S3DIS, and NYU-v2, demonstrate the superiority of our approach. Also, experimental results show that our 3D-to-2D distillation improves the model generalization.

연구 동기 및 목표

• 깊이 보조 2D 세분화 분석의 한계를 해결하기 위해, 쌍체 RGB-깊이 데이터가 필요하고 깊이 예측 오차에 민감한 기존 방법의 문제점을 해결한다.
• 대규모 3D 포인트 클라우드에서의 지식을 정규화하여 2D 이미지에서 3D 유사 특징을 학습할 수 있도록 2D CNN에 지식 전이를 가능하게 한다.
• 쌍체가 없는 2D-3D 데이터를 포함한 프레임워크를 설계하여 유연성과 적용 가능성 증가.
• 미사용 데이터셋에서 테스트할 때조차도 강건한 3D 표현을 2D 특징에 통합함으로써 모델의 일반화 능력을 향상시킨다.

제안 방법

• 2D와 3D 특징의 통계적 분포를 일치시켜 모odal 갭을 줄이기 위해 이중 단계의 차원 정규화(DN) 모듈을 도입한다.
• 사전 학습된 3D 네트워크에서 유도된 3D 특징을 학습 중에 L2 손실을 통해 2D CNN에 정규화한다. 이로 인해 2D 네트워크는 3D 특징을 시뮬레이션할 수 있다.
• 쌍체가 없는 2D-3D 데이터로도 프레임워크를 훈련시킬 수 있도록 의미 인식형 적대적 손실(SAAL)을 도입하며, 카테고리별로 2D와 3D 특징 표현을 구분한다.
• 3D에서 2D로의 정규화 프레임워크는 추론 시에 오직 2D 이미지만을 사용하므로, 구현 시 3D 입력이 필요로 하지 않는다.
• 기본 아키텍처로 PSPNet-50을 사용하여 ScanNet-v2, S3DIS, NYU-v2에서 평가한다.
• SAAL의 판별기는 카테고리별로 6개의 완전 연결 레이어와 클래스당 0.009M 파라미터로 학습된다.

실험 결과

연구 질문

• RQ1 추론 시 3D 데이터가 필요로 하지 않고도 대규모 3D 데이터셋의 3D 특징을 2D CNN에 효과적으로 전이할 수 있는가?
• RQ2 2D와 3D 특징 간의 분포 갭을 최소화하여 효과적인 정규화를 달성할 수 있는가?
• RQ3 3D 데이터로 훈련한 프레임워크가 쌍체가 없는 데이터로도 새로운 도메인에 일반화 가능한가?
• RQ4 쌍체가 없는 3D 데이터를 사용할 경우 2D 세분화의 성능과 강건성에 어떤 영향을 미치는가?
• RQ5 정규화된 3D 표현이 깊이 복원 품질 향상에 기여하는가? 이는 효과적인 3D 특징 학습을 의미한다.

주요 결과

• 제안된 3D에서 2D로의 정규화 방법은 미사용 도메인에서 NYU-v2에서 mIoU가 19.08%에서 27.22%로 향상되어 강력한 일반화 능력을 입증한다.
• ScanNet-v2 검증 세트에서 쌍체가 없는 3D 데이터를 사용할 경우 mIoU가 기준 모델의 49.50에서 51.70으로 상승하여 상대적 향상률 4.4%를 기록한다.
• 시각적 비교 결과 도어, 냉장고, 책장, 의자와 같은 어려운 물체의 예측 성능이 뚜렷이 향상됨을 확인할 수 있다.
• 정규화를 적용한 2D 네트워크에서의 깊이 복원 품질은 기준 모델보다 유의미하게 향상되어 효과적인 3D 특징 학습을 나타낸다.
• 계산 오버헤드가 극히 적은 상태에서 ScanNet-v2, S3DIS, NYU-v2에서 최신 기술 수준의 성능을 달성한다.
• 의미 인식형 적대적 손실은 쌍체가 없는 2D-3D 데이터로도 효과적인 훈련이 가능하게 하여 프레임워크의 유연성과 확장성의 타당성을 입증한다.