[논문 리뷰] 3DCNN-DQN-RNN: A Deep Reinforcement Learning Framework for Semantic Parsing of Large-scale 3D Point Clouds

Fangyu Liu, Shuaipeng Li외 5명|arXiv (Cornell University)|2017. 07. 21.

3D Surveying and Cultural Heritage참고 문헌 2인용 수 18

한 줄 요약

이 논문은 3D 합성곱 신경망(3DCNN), 딥 Q-네트워크(DQN), 그리고 잔차 RNN를 통합한 딥 강화학습 프레임워크인 3DCNN-DQN-RNN을 제안한다. 이는 대규모 3D 포인트 클라우드의 자동적이고 종단 간(semi) 의미 분석을 가능하게 한다. 방법은 DQN에 의해 제어되는 눈 창문을 사용해 객체를 국소화하고 분할한 후, 3DCNN를 통해 특징을 추출하고 잔차 RNN를 통해 특징을 융합하여 고정밀도 분류를 달성한다. 이는 벤치마크 데이터셋에서 최신 기술을 능가한다.

ABSTRACT

Semantic parsing of large-scale 3D point clouds is an important research topic in computer vision and remote sensing fields. Most existing approaches utilize hand-crafted features for each modality independently and combine them in a heuristic manner. They often fail to consider the consistency and complementary information among features adequately, which makes them difficult to capture high-level semantic structures. The features learned by most of the current deep learning methods can obtain high-quality image classification results. However, these methods are hard to be applied to recognize 3D point clouds due to unorganized distribution and various point density of data. In this paper, we propose a 3DCNN-DQN-RNN method which fuses the 3D convolutional neural network (CNN), Deep Q-Network (DQN) and Residual recurrent neural network (RNN) for an efficient semantic parsing of large-scale 3D point clouds. In our method, an eye window under control of the 3D CNN and DQN can localize and segment the points of the object class efficiently. The 3D CNN and Residual RNN further extract robust and discriminative features of the points in the eye window, and thus greatly enhance the parsing accuracy of large-scale point clouds. Our method provides an automatic process that maps the raw data to the classification results. It also integrates object localization, segmentation and classification into one framework. Experimental results demonstrate that the proposed method outperforms the state-of-the-art point cloud classification methods.

연구 동기 및 목표

• 비균일한 밀도와 노이즈를 포함한 대규모 비정형 3D 포인트 클라우드에서의 의미 분석 과제를 해결하기 위해.
• 수작업으로 만든 특징과 히우리스틱 융합의 한계를 극복하기 위해 종단 간(end-to-end)으로 일관되고 상보적인 특징을 학습하기 위해.
• 단일 통합 딥 러닝 프레임워크 내에서 객체 국소화, 분할, 분류를 동시에 수행할 수 있도록 하기 위해.
• 학습 가능한 강화학습 기반 메커니즘으로 수동 하이퍼파rameter 조정에 의존도를 줄이기 위해.

제안 방법

• 바이오닉된 포인트 클라우드 패치에서 다중 척도의 공간, 형태, 색상 및 맥락적 특징을 추출하기 위해 3DCNN을 사용한다.
• 딥 Q-네트워크(DQN)는 3DCNN 특징에서 유도된 보상 신호를 최대화함으로써 동적으로 객체 클래스를 국소화하고 분할하기 위해 적응형 눈 창문을 제어한다.
• 눈 창문은 DQN의 결정에 따라 반복적으로 재위치 및 재크기 조정되며, 고보상 영역에 집중함으로써 국소화 정확도를 향상시킨다.
• 각 눈 창문 내부의 3DCNN 특징, 점 좌표, RGB 색상이 연결되어 잔차 RNN에 입력되며, 이는 계층적 특징 추상화 및 분류를 수행한다.
• 잔차 RNN은 다중 척도 표현을 융합하여 최종 분류를 위한 강력하고 구별력 있는 임베딩을 생성한다.
• 전체 파ip라인은 종단 간 학습되며, 원시 포인트 클라우드에서 의미 레이블로의 자동 매핑을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 수작업 특징 없이도 비정형 대규모 3D 포인트 클라우드에서 객체를 효과적으로 국소화하고 분할할 수 있는가?
• RQ2 DQN에 의해 제어되는 눈 창문의 통합은 고정 크기 또는 무작위 샘플링 전략에 비해 객체 국소화 정확도를 어떻게 향상시키는가?
• RQ3 국소화된 영역에서 추출한 다중 모odal 특징(3DCNN, 좌표, RGB)을 융합함으로써 잔차 RNN이 분류 성능을 얼마나 향상시키는가?
• RQ4 복잡한 3D 시나리오에서 DQN의 탐색 전략은 의미 분석 정확도와 수렴 시간에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 기존 최신 기술 대비 3D 포인트 클라우드의 의미 분석에서 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 3DCNN-DQN-RNN 프레임워크는 벤치마크 데이터셋에서 최신 기술 대비 뛰어난 분류 정확도를 달성하여 의미 분석에서의 효과성을 입증한다.
• DQN에 의해 제어되는 눈 창문은 강화학습을 통해 고보상 영역에 집중함으로써, 특히 작은 또는 가림을 입은 객체의 국소화 정밀도를 크게 향상시킨다.
• 잔차 RNN은 3DCNN 특징, 좌표, RGB 값을 효과적으로 융합하여 더 구별력 있는 표현을 생성함으로써 분류 성능을 향상시킨다.
• 대부분의 매개변수, 특히 DQN 정책과 특징 추출 구성 요소까지 종단 간 학습함으로써 수동 하이퍼파rameter 조정에 대한 의존도를 감소시킨다.
• 도전 과제가 있음에도 불구하고, 겹치거나 유사한 외관을 가진 객체(예: 책장과 테이블)가 있는 복잡한 시나리오에서 프레임워크는 향상된 성능을 보였다.
• 3DCNN이 작은 또는 모호한 객체(예: 유리 문이 창문으로 잘못 인식됨)에서 특징 학습 능력이 제한되어 있음을 시사하며, 더 큰 데이터셋에서의 사전 훈련이 필요함을 시사한다.