[논문 리뷰] Scene Classification in Indoor Environments for Robots using Context Based Word Embeddings

Bao Xin Chen, Raghavender Sahdev외 4명|arXiv (Cornell University)|2019. 08. 18.

Advanced Image and Video Retrieval Techniques인용 수 15

한 줄 요약

이 논문은 CNN 기반의 장면 인식과 검출된 객체의 워드 임베딩을 융합하여 내부 로봇을 위한 맥락 인식 장면 분류 방법을 제안한다. GPS 기반의 계층적 분류 체계를 활용한 장면 클래스의 정제와 벡터 공간 내 객체-맥락 유사도를 통한 상위 5개 CNN 예측의 개선을 통해, 자체 구축한 실세계 데이터셋에서 92.25%의 상위 1위 정확도를 달성하였으며, 기준 ResNet50 모델보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Scene Classification has been addressed with numerous techniques in computer vision literature. However, with the increasing number of scene classes in datasets in the field, it has become difficult to achieve high accuracy in the context of robotics. In this paper, we implement an approach which combines traditional deep learning techniques with natural language processing methods to generate a word embedding based Scene Classification algorithm. We use the key idea that context (objects in the scene) of an image should be representative of the scene label meaning a group of objects could assist to predict the scene class. Objects present in the scene are represented by vectors and the images are re-classified based on the objects present in the scene to refine the initial classification by a Convolutional Neural Network (CNN). In our approach we address indoor Scene Classification task using a model trained with a reduced pre-processed version of the Places365 dataset and an empirical analysis is done on a real-world dataset that we built by capturing image sequences using a GoPro camera. We also report results obtained on a subset of the Places365 dataset using our approach and additionally show a deployment of our approach on a robot operating in a real-world environment.

연구 동기 및 목표

• 내부 로봇 환경에서 정확도가 높은 장면 인식이 탐색 및 작업 수행에 필수적인 데, 이를 향상시키기 위해.
• 라벨링 불일치와 상위 1위 정확도가 약 56%에 불과하여 실세계 로봇 구현에 부적합한 기존 데이터셋(예: Places365)의 한계를 해결하기 위해.
• 거시적 GPS 위치 기반으로 계층적 분류 체계를 활용해 관련이 없는 장면 클래스를 정제함으로써 계산 복잡도를 감소시키고 추론 속도를 향상시키기 위해.
• 학습된 워드 임베딩을 통한 객체 수준의 맥락 정보를 통합하여 CNN 기반 장면 분류 성능을 향상시키기 위해.
• 새로 수집한 고품질 실세계 데이터셋을 바탕으로 방법을 검증하고 실제 물리적 로봇에서 실시간 구현 가능성을 입증하기 위해.

제안 방법

• 이 방법은 두 개의 브랜치로 구성된 CNN 아키텍처를 사용한다: 하나는 초도 장면 분류(상위 5개 예측)를 위한 것이고, 다른 하나는 전경 및 배경 객체를 탐지하기 위한 장면 파싱을 위한 것이다.
• 검출된 객체들은 객체-장면 공시출현 데이터 기반으로 훈련된 word2vec 방식의 모델을 사용해 연속적인 벡터 공간에 매핑되며, 이 과정에서 객체 및 장면 벡터가 생성되어 의미적 유사성을 반영한다.
• 이미지의 객체 맥락 벡터 표현과 상위 5개 예측된 장면 레이블의 벡터 표현 간 코사인 유사도 점수를 계산하여 순위를 개선한다.
• 최종 예측은 CNN 신뢰도 점수와 워드 임베딩 유사도 점수를 곱하여 얻으며, 이는 정확도 향상을 위해 예측 순서를 재정렬한다.
• 8개의 내부 환경(예: 학교, 주거지, 쇼핑몰)으로 구성된 계층적 분류 체계를 사용하여 GPS 기반으로 얻은 거시적 위치 정보에 따라 검색 공간을 정제한다.
• 시스템은 ZED 카메라와 GTX 1060 GPU를 탑재한 Pioneer3AT 로봇에 구현되었으며, 단일 카메라 RGB 이미지를 사용해 실시간 추론을 수행한다.

실험 결과

연구 질문

• RQ1 내부 로봇 환경에서 표준 CNN보다 맥락 인식 객체 임베딩이 장면 분류 정확도를 향상시킬 수 있는가?
• RQ2 분류 체계 기반 정제 전략은 후보 장면 클래스 수를 줄이고 추론 효율을 향상시키는 데 얼마나 효과적인가?
• RQ3 객체-장면 공시출현 데이터 기반으로 훈련된 워드 임베딩 모델은 의미적 맥락을 포착함으로써 CNN 예측을 효과적으로 개선할 수 있는가?
• RQ4 제안된 방법은 표준 및 실세계 데이터셋 모두에서 기준 CNN 모델과 비교해 어떤 성능을 보이는가?
• RQ5 훈련 데이터의 품질(예: 라벨링 일관성)은 최종 분류 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 방법은 저자들이 구축한 고유한 실세계 테스트 데이터셋에서 92.25%의 상위 1위 정확도를 달성하였으며, 이는 기준 ResNet50 모델(동일 세트에서 90.33%)보다 뚜렷이 뛰어난 성능을 보였다.
• 감소된 Places365 검증 세트에서, 방법은 74.28%의 상위 1위 정확도를 기록하였으며, ResNet50 기준 모델(73.82%)을 略로 초월하였다.
• 워드 임베딩 정제 단계는 기준 ResNet50 모델 대비 고유 데이터셋에서 1.92%의 정확도 향상을 이룩하였으며, 맥락 기반 객체 정보의 가치를 입증하였다.
• 주택 및 학교 환경에서 각각 93.27% 및 92.25%의 상위 1위 정확도를 기록하여 다양한 내부 환경에서의 강건성을 보였다.
• 전반적인 향상에도 불구하고, 쇼핑몰 환경에서는 장면을 구분하는 데 중요한 객체(예: 신발, 시계)의 탐지가 부정확하여 정제 효과가 떨어졌다.
• Pioneer3AT 로봇에 실세계에서의 구현을 통해 실시간 추론의 가능성을 확인하였으며, 대학 환경에서 장면을 성공적으로 분류하였다.