[논문 리뷰] A Convolutional Neural Network based Live Object Recognition System as Blind Aid

Kedar Potdar, Chinmay D. Pai외 1명|arXiv (Cornell University)|2018. 11. 26.

Advanced Neural Network Applications참고 문헌 4인용 수 24

한 줄 요약

이 논문은 카메라와 휴대용 컴퓨팅을 사용하여 YOLO 유사 모델과 ELU 활성화 함수를 활용해 ImageNet의 객체를 실시간으로 감지하고 분류하는 실시간, CNN 기반의 시각 장애인을 위한 라이브 객체 인식 시스템을 제시한다. 시스템은 200개의 ImageNet 카테고리에서 50 mAP와 70.6%의 top-1 정확도를 달성하여 실시간 환경 인식을 위한 청각 또는 브레일리 피드백을 제공한다.

ABSTRACT

This paper introduces a live object recognition system that serves as a blind aid. Visually impaired people heavily rely on their other senses such as touch and auditory signals for understanding the environment around them. The act of knowing what object is in front of the blind person without touching it (by hand or some other tool) is very difficult. In some cases, the physical contact between the person and object can be dangerous, and even lethal. This project employs a Convolutional Neural Network for recognition of pre-trained objects on the ImageNet dataset. A camera, aligned with the system's predetermined orientation serves as input to the computer system, which has the object recognition Neural Network deployed to carry out real-time object detection. Output from the network can then be parsed to present to the visually impaired person either in the form of audio or Braille text.

연구 동기 및 목표

• 시각 장애인이 신체적 접촉 없이 물체를 식별할 수 있도록 실시간으로 작동하는 휴대용 객체 인식 시스템을 개발하는 것.
• 컴퓨터 비전과 딥 러닝을 활용해 비접촉 방식의 객체 감지를 통해 촉각적 또는 청각적 단서에만 의존하는 것을 줄이는 것.
• 휴대용 하드웨어에 경량이고 효율적인 CNN 모델을 구현하여 최소한의 계산 오버헤드로 실시간 추론을 수행하는 것.
• 청각 또는 브레일리 텍스트를 통해 접근 가능한 출력을 제공하여 환경 인식 능력과 안전성을 향상시키는 것.
• 혼잡하거나 실내 환경을 포함한 실제 환경에서의 시스템 성능 평가

제안 방법

• 입력으로 카메라를 사용하며, 이미지를 세부 정보와 계산 효율성의 균형을 맞추기 위해 416×416 픽셀로 크기 조정한다.
• YOLO 유사 CNN 아키텍처를 사용하며, 최대풀링이 포함된 7개의 합성곱 레이어와 분류를 위한 완전 연결 레이어로 구성된다.
• 학습 속도와 정확도를 향상시키기 위해 지수선형 단위(ELU)를 활성화 함수로 사용한다. 수식은 f(x) = x (x ≥ 0일 때) 및 a(exp(x)−1) (기타 경우)로 정의된다.
• 객체 감지 출력을 [0,1] 범위로 정규화하여 계산 복잡도를 감소시키고 추론 속도를 향상시킨다.
• 모델은 ImageNet 1000개 카테고리 데이터셋으로 사전 학습한 후, 경계 상자 회귀를 위한 객체 감지에 맞추어 미세 조정된다.
• 출력은 JSON 형식으로 생성되며, 사용자 피드백을 위해 청각 또는 브레일리로 매핑된다.

실험 결과

연구 질문

• RQ1 경량 CNN 기반 시스템이 시각 장애인을 위한 휴대용 하드웨어에서 실시간 객체 감지를 달성할 수 있는가?
• RQ2 도로나 실내 환경과 같은 복잡하거나 혼잡한 장면에서 시스템의 객체 감지 정확도는 어떠한가?
• RQ3 ELU 활성화 함수와 네트워크 깊이 감소를 사용할 경우 정확도와 추론 속도 사이의 상충 관계는 어떠한가?
• RQ4 비접촉 방식으로 객체를 식별함으로써 안전 위험을 얼마나 줄일 수 있는가?
• RQ5 실생활 환경에서 소형 또는 부분적으로 가려진 객체를 시스템이 얼마나 효과적으로 식별할 수 있는가?

주요 결과

• ImageNet 200개 카테고리 검증 데이터셋에서 평균 평균 정밀도(mAP)가 50%를 달성하여 다양한 장면에서 뛰어난 감지 성능을 보였다.
• ImageNet 검증 데이터셋에서 top-1 정확도가 70.6%에 도달하여 일반적인 물체의 신뢰성 있는 분류 능력을 입증했다.
• 단일 평가 아키텍처 덕분에 낮은 추론 시간을 기록하여 휴대형 기기에서도 실시간 객체 감지가 가능했다.
• 도로 교차로와 같은 혼잡한 장면에서도 사람과 차량과 같은 여러 객체를 정확히 감지했으며, 부분적으로 가려진 경우에도 성능을 유지했다.
• 실내 환경에서는 감지 성능이 일관되게 유지되었지만, 소형 또는 해상도가 낮은 객체의 경우 정확도가 떨어졌으며, 버스를 트럭으로 잘못 분류하는 경우도 있었다.
• 시스템 성능는 계산 자원 제약으로 인해 제한을 받으며, 정확도 향상은 추론 시간 증가를 수반할 수 있다.