[논문 리뷰] Large-Scale 3D Scene Classification With Multi-View Volumetric CNN

Dror Aiger, Brett L. Allen외 1명|arXiv (Cornell University)|2017. 12. 26.

Remote Sensing and LiDAR Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 다중 시점 볼륨형 컨볼루션 네트워크를 제안하여 여러 깊이 평면을 통해 이미지 투영을 이용해 대규모 3D 시점 분류를 수행하며, 경계 주석 없이도 복잡한 재료인 물과 나무의 정확한 픽셀 수준 분류를 가능하게 한다. 이 방법은 다중 시점 픽셀 상관관계를 활용하여 상태 기반 성능을 달성하며, 3D 볼륨 훈련을 통해 항공 영상에서 96.3%의 테스트 정확도로 Inception-V3를 능가한다.

ABSTRACT

We introduce a method to classify imagery using a convo- lutional neural network (CNN) on multi-view image pro- jections. The power of our method comes from using pro- jections of multiple images at multiple depth planes near the reconstructed surface. This enables classification of categories whose salient aspect is appearance change un- der different viewpoints, such as water, trees, and other materials with complex reflection/light response proper- ties. Our method does not require boundary labelling in images and works on pixel-level classification with a small (few pixels) context, which simplifies the cre- ation of a training set. We demonstrate this application on large-scale aerial imagery collections, and extend the per-pixel classification to robustly create a consistent 2D classification which can be used to fill the gaps in non- reconstructible water regions. We also apply our method to classify tree regions. In both cases, the training data can quickly be generated using a small number of manually- created polygons on a map. We show that even with a very simple and standard network our CNN outperforms the state-of-the-art image classification, the Inception-V3 model retrained from a large collection of aerial images.

연구 동기 및 목표

• 반사성 반사와 운동에 의해 스테레오 복원이 실패하기 쉬운 대규모 3D 복원에서 물과 나무와 같은 복잡한 재료를 분류하는 도전 과제를 해결한다.
• 지도 학습을 위해 대규모 완전 주석 훈련 세트에 의존하는 것을 줄이고, 지도 지도의 희박한 다각형 주석만으로도 약한 지도 학습을 가능하게 한다.
• 일致한 2D 분류 마스크를 사용해 3D 모델에서 노이즈가 많거나 누락된 물 영역을 탐지하고 보완함으로써 복원 품질을 향상시킨다.
• 동일한 다중 시점 볼륨형 컨볼루션 네트워크 프레임워크를 사용해 물 외의 다른 재료, 예를 들어 나무에까지 일반화할 수 있음을 보여준다.

제안 방법

• 다양한 깊이 평면에서 다중 입력 영상을 3D 사진 일致성 볼륨에 투영하여 다중 시점 볼륨 특징을 생성한다.
• 이러한 볼륨 표현을 기반으로 3D 컨볼루션 신경망(CNN)을 훈련시어 다중 시점 픽셀 상관관계를 기반으로 각 3D 점을 분류한다.
• 지도 지도의 희박한 다각형 주석을 사용해 약한 지도 학습 데이터를 생성함으로써 픽셀 수준의 경계 레이블링을 피한다.
• 모든 시점에서의 픽셀 분류 점수를 3D 점 간 확률 융합을 통해 일관된 2D 마스크로 통합한다.
• 물 분류의 경우, 마스크 경계에서 강력한 수위 추정을 수행하고, 마스크를 사용해 노이즈가 많은 재구성 기하 구조를 매끄러운 표면으로 교체한다.
• 단일 영상의 외관이 아닌 다중 시점 특징 상호작용을 학습함으로써 3D CNN이 복잡한 반사 함수를 모델링할 수 있는 능력을 활용한다.

실험 결과

연구 질문

• RQ1 물과 나무와 같은 복잡한 반사 성질을 가진 재료의 3D 시점 분류 정확도를 단일 영상 방법과 비교해 볼 때, 다중 시점 볼륨형 CNN이 향상되는가?
• RQ2 지도 지도의 희박한 다각형 주석만을 사용하는 약한 지도 학습이 얼마나 많은 주석 작업을 줄일 수 있으며, 동시에 높은 분류 정확도를 유지할 수 있는가?
• RQ3 이 방법은 대규모 항공 영상에서 물 영역의 복원 오류를 탐지하고 보완하는 데 얼마나 효과적인가?
• RQ4 다중 시점 대응 관계를 갖는 3D 볼륨 특징이 2D 영상 기반 또는 패치 기반 훈련 전략에 비해 상당히 뛰어난 성능을 내는가?
• RQ5 동일한 프레임워크를 사용해 나무와 같이 다양한 재료를 효과적으로 분류할 수 있으며, 물 외로 일반화할 수 있는가?

주요 결과

• 3D 볼륨형 CNN은 물 분류 작업에서 테스트 정확도 96.3%를 달성하여, 항공 영상에서 재훈련된 기준 모델인 Inception-V3보다 유의미하게 뛰어난 성능을 보였다.
• 완전한 픽셀 대응(3D CNN)을 사용한 방법은 96.3%의 테스트 정확도를 기록했고, 패치 대응일 경우 90.2%, 대응 없이일 경우 79.2%로, 3D 공간 모델링의 필요성을 입증했다.
• 시스템은 대규모 3D 복원에서 물 간극을 성공적으로 탐지하고 보완하여, 특이한 물 색조를 가진 샌프란시스코 만과 같은 도전적인 지역에서도 매끄럽고 텍스처가 있는 물 표면을 생성했다.
• 집계된 3D 예측에서 유도된 2D 분류 마스크는 간극 메우기 기능을 강력하게 지원했고, 전기 탑 기둥과 같은 미세한 디테일, 좁은 수로 등도 잘 유지했다.
• 나무 분류로의 일반화도 잘 이루어져, 지도에서 수작업으로 그린 다섯 개의 다각형만으로도 픽셀 수준의 레이블링 없이 정확한 세그먼테이션을 달성했다.
• 이 방법은 스테레오 복원 파이프라인의 변화에 대해 강건성을 보였으며, 기저의 사진 일치 계산 방식이 변하더라도 높은 성능을 유지했다.