[논문 리뷰] Exploring the Applications of Faster R-CNN and Single-Shot Multi-box Detection in a Smart Nursery Domain

Somnuk Phon-Amnuaisuk, Ken T. Murata외 3명|arXiv (Cornell University)|2018. 08. 27.

Advanced Neural Network Applications참고 문헌 15인용 수 10

한 줄 요약

이 논문은 유튜브 영상 데이터를 활용하여 스마트 유아 보육 시스템에서 아기 탐지에 대해 Faster R-CNN과 SSD를 평가한다. Faster R-CNN은 정확도 97.5%를 기록하며 더 나은 국소화 성능을 보였고, SSD는 더 빠른 추론 속도를 제공하지만 더 많은 겹치는 바운딩 박스를 생성하여 실세계 구현에서의 상호 보완적 특성을 드러낸다.

ABSTRACT

The ultimate goal of a baby detection task concerns detecting the presence of a baby and other objects in a sequence of 2D images, tracking them and understanding the semantic contents of the scene. Recent advances in deep learning and computer vision offer various powerful tools in general object detection and can be applied to a baby detection task. In this paper, the Faster Region-based Convolutional Neural Network and the Single-Shot Multi-Box Detection approaches are explored. They are the two state-of-the-art object detectors based on the region proposal tactic and the multi-box tactic. The presence of a baby in the scene obtained from these detectors, tested using different pre-trained models, are discussed. This study is important since the behaviors of these detectors in a baby detection task using different pre-trained models are still not well understood. This exploratory study reveals many useful insights into the applications of these object detectors in the smart nursery domain.

연구 동기 및 목표

• 실세계 보육 영상에서 아기를 탐지하는 최신 기술 기반 객체 검출기인 Faster R-CNN과 SSD의 성능을 평가하기 위해.
• TensorFlow Detection Model Zoo의 다양한 사전 훈련된 모델이 탐지 정확도와 국소화 품질에 미치는 영향을 분석하기 위해.
• 스마트 유아 보육 시스템에서 활동 인식 및 장면 이해와 같은 고차원 작업으로의 객체 탐지 연계 과정에서 발생하는 과제를 규명하기 위해.
• 조명 변화, 가림, 크기 변화와 같은 실세계 변형 조건에서 탐지기의 행동에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 유튜브에서 확보한 2D 영상 프레임에서 아기를 탐지하기 위해 TensorFlow Detection Model Zoo의 사전 훈련된 모델을 활용하여 Faster R-CNN과 SSD를 적용하였다.
• SSD에서는 중복 제거를 위해 비최대 억제(NMS)를 적용하였고, Faster R-CNN은 후보 영역 생성을 위해 영역 제안 네트워크(RPN)에 의존하였다.
• 자체 제작한 보육 장면 데이터셋을 기반으로 바운딩 박스 겹침, 분류 정확도, 국소화 품질 등의 지표를 사용하여 탐지 성능을 평가하였다.
• 지식 기반 및 인코더-디코더 프레임워크를 활용하여 의미적 장면 기술의 가능성을 탐색함으로써 탐지와 장면 이해 간 격차를 분석하였다.
• 탐지 안정성과 정확도 향상을 위해 시간 연속성 제약 조건과 앙상블 학습 기법을 향후 확장 방향으로 탐색하였다.
• 활동 인식 기반 기준으로서의 방향성 히스토그램(HOOF)을 사용하여 파ip라인 통합 잠재력을 평가하였다.

실험 결과

연구 질문

• RQ1 실세계 시각적 변형 조건(조도 변화, 가림, 크기 변화 등) 하에서 Faster R-CNN과 SSD가 아기를 탐지하는 데 어떻게 성능을 내는가?
• RQ2 스마트 유아 보육 모니터링 맥락에서 Faster R-CNN과 SSD 간 탐지 정확도와 추론 속도 사이의 상호 보완적 특성은 어떠한가?
• RQ3 바운딩 박스의 품질과 겹침 정도가 추적 및 활동 인식과 같은 후속 작업에 미치는 영향은 어느 정도인가?
• RQ4 아기 모니터링 시나리오에서 객체 탐지에서 전체 장면 이해로의 확장을 위한 주요 제약 요소는 무엇인가?
• RQ5 앙상블 학습과 시간 연속성 제약 조건을 통해 영상 프레임 간 탐지 신뢰도를 어떻게 향상시킬 수 있는가?

주요 결과

• Faster R-CNN은 데이터셋에서 최고의 탐지 정확도 97.5%를 기록하였고, 이는 SSD의 86.1% 정확도를 크게 앞서는 성능이었다.
• SSD는 NMS 기반의 제거에 의존함에 따라 다수의 아기 인스턴스가 존재하는 영역에서 더 많은 겹치는 바운딩 박스를 생성하였다.
• Faster R-CNN은 SSD보다 더 정밀하고 겹치는 박스가 적은 바운딩 박스를 생성하였다.
• 정확한 탐지만으로는 활동 인식이 불가능하며, 추가로 ID 추적 및 운동 기술자(descriptor) 통합이 필요하다는 점이 규명되었다.
• 탐지와 장면 이해 사이의 격차는 여전히 크며, 지식 기반 및 인코더-디코더 프레임워크는 각각 다른 방향이지만 모두 완전하지 않은 접근 방식을 제공한다.
• 향후 앙상블 학습과 시간 연속성 제약 조건을 통해 영상 프레임 간 탐지 안정성을 향상시킬 수 있다.