[논문 리뷰] Indoor Space Recognition using Deep Convolutional Neural Network: A Case Study at MIT Campus

Fan Zhang, Fábio Duarte외 4명|arXiv (Cornell University)|2016. 10. 07.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 15

한 줄 요약

이 논문은 MIT 캠퍼스 건물에서 수집한 60만 장이 넘는 이미지를 기반으로, 단일 스마트폰 사진을 사용하여 실내 공간을 인식하는 딥 컨volution 신경망(DCNN) 기반 접근법을 제안한다. 공간 척도를 고정한 모델을 사용하여 테스트 정확도 81.7%를 달성하였으며, 분류 기준이 되는 시각적 특징을 해석하기 위해 클래스 활성 맵(CAM)을 활용하여 공간 인식과 디자인에 대한 통찰을 제공한다.

ABSTRACT

In this paper, we propose a robust and parsimonious approach using Deep Convolutional Neural Network (DCNN) to recognize and interpret interior space. DCNN has achieved incredible success in object and scene recognition. In this study we design and train a DCNN to classify a pre-zoning indoor space, and from a single phone photo to recognize the learned space features, with no need of additional assistive technology. We collect more than 600,000 images inside MIT campus buildings to train our DCNN model, and achieved 97.9% accuracy in validation dataset and 81.7% accuracy in test dataset based on spatial-scale fixed model. Furthermore, the recognition accuracy and spatial resolution can be potentially improved through multiscale classification model. We identify the discriminative image regions through Class Activating Mapping (CAM) technique, to observe the model's behavior in how to recognize space and interpret it in an abstract way. By evaluating the results with misclassification matrix, we investigate the visual spatial feature of interior space by looking into its visual similarity and visual distinctiveness, giving insights into interior design and human indoor perception and wayfinding research. The contribution of this paper is threefold. First, we propose a robust and parsimonious approach for indoor navigation using DCNN. Second, we demonstrate that DCNN also has a potential capability in space feature learning and recognition, even under severe appearance changes. Third, we introduce a DCNN based approach to look into the visual similarity and visual distinctiveness of interior space.

연구 동기 및 목표

• 외부 센서를 사용하지 않고도 스마트폰 이미지만으로 저비용이고 강력한 실내 공간 인식 시스템을 개발하기 위해.
• 외관의 변동이 있음에도 불구하고 딥 러닝이 복잡한 실내 공간 특징을 효과적으로 학습하고 분류할 수 있는지 조사하기 위해.
• 딥 러닝 해석 기법을 활용하여 내부 환경에서의 시각적 공간 유사성과 고유성을 분석하기 위해.
• 컴퓨터 비전을 통해 인간의 길 찾기와 실내 디자인 인지 이해를 위한 데이터 기반 접근법을 기여하기 위해.

제안 방법

• 60만 장이 넘는 실내 이미지로 구성된 대규모 데이터셋을 기반으로 딥 컨volution 신경망(DCNN)을 훈련시켰다.
• 분류를 위해 공간 척도를 고정한 아키텍처를 사용하여, 추가 하드웨어 없이 단일 스마트폰 사진으로도 추론이 가능하도록 하였다.
• 분류에 사용하는 이미지의 주요 영역을 시각화하고 해석하기 위해 클래스 활성 맵(CAM)을 적용하였다.
• 인식 정확도와 공간 해상도 향상을 위한 잠재적 방법으로 다중 척도 분류 모델을 탐색하였다.
• 검증 세트(97.9% 정확도)와 별도의 테스트 세트(81.7% 정확도)를 사용하여 모델을 평가하였으며, 오분류 행렬을 활용해 시각적 유사성과 고유성을 분석하였다.
• 오분류 패턴을 분석하여 모델의 행동이 공간 레이아웃과 디자인 인지에 어떻게 연결되는지 분석하였다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망은 추가 센서나 메타데이터 없이 단일 스마트폰 사진만으로도 실내 공간을 정확히 인식할 수 있는가?
• RQ2 레이아웃, 조명, 인테리어와 같은 시각적 공간 특징이 모델이 다양한 실내 환경을 구분하는 데 기여하는 방식은 무엇인가?
• RQ3 실내 공간 간의 시각적 유사성과 고유성이 모델의 분류 성능에 얼마나 큰 영향을 미치는가?
• RQ4 클래스 활성 맵(CAM)을 활용해 모델의 공간 인식 과정에서의 의사결정 과정을 어떻게 해석하고 검증할 수 있는가?
• RQ5 모델의 오분류 패턴을 통해 인간이 실내 환경을 인지하는 방식에 대한 어떤 통찰을 도출할 수 있는가?

주요 결과

• 공간 척도를 고정한 모델을 사용하여 검증 정확도 97.9%와 테스트 정확도 81.7%를 달성하여, 새로운 실내 공간에 대한 강력한 일반화 능력을 입증하였다.
• 외관의 변동이 심한 상황에서도 건축적 레이아웃, 가구, 조명과 같은 시각적 단서를 기반으로 공간을 효과적으로 인식하는 데 성공하였다.
• 클래스 활성 맵(CAM)을 통해 모델이 분류 결정을 내릴 때 문, 복도, 특징적인 가구와 같이 의미 있는 영역에 집중하고 있음을 확인하였다.
• 오분류 분석 결과, 유사한 외관을 가진 공간(예: 유사한 복도나 사무실)이 자주 혼동되는 것으로 나타나, 시각적 유사성이 인식 성능에 큰 영향을 미친다는 점을 입증하였다.
• 딥 러닝이 원시 이미지에서 추상적인 공간 표현을 효과적으로 학습할 수 있음을 보여주며, 길 찾기 및 실내 디자인 연구에 새로운 도구를 제공한다.
• 다중 척도 분류 모델을 통해 정확도와 해상도 향상의 잠재력이 확인되어 향후 확장성과 정교화 가능성을 시사한다.