[논문 리뷰] Real-world Object Recognition with Off-the-shelf Deep Conv Nets: How Many Objects can iCub Learn?

Giulia Pasquale, Carlo Ciliberto외 3명|arXiv (Cornell University)|2015. 04. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 9

한 줄 요약

이 논문은 사전 훈련된 깊이 신경망(CNN)을 사용하여 iCub 인간형 로봇이 실제 세계의 몇 가지 물체를 인식할 수 있는지 평가하며, 4일간의 인간-로봇 상호작용을 통해 수집한 iCubWorld28 데이터셋을 도입한다. 최신 기술의 CNN은 높은 정확도를 달성하고 있음에도 불구하고, 98%의 신뢰도로 인식된 물체는 오직 2개에 불과하여, 딥 러닝의 진전에도 불구하고 실제 로봇 시각 인식에서 여전히 큰 도전 과제가 있음을 드러낸다.

ABSTRACT

The ability to visually recognize objects is a fundamental skill for robotics systems. Indeed, a large variety of tasks involving manipulation, navigation or interaction with other agents, deeply depends on the accurate understanding of the visual scene. Yet, at the time being, robots are lacking good visual perceptual systems, which often become the main bottleneck preventing the use of autonomous agents for real-world applications. Lately in computer vision, systems that learn suitable visual representations and based on multi-layer deep convolutional networks are showing remarkable performance in tasks such as large-scale visual recognition and image retrieval. To this regard, it is natural to ask whether such remarkable performance would generalize also to the robotic setting. In this paper we investigate such possibility, while taking further steps in developing a computational vision system to be embedded on a robotic platform, the iCub humanoid robot. In particular, we release a new dataset ({\sc iCubWorld28}) that we use as a benchmark to address the question: {\it how many objects can iCub recognize?} Our study is developed in a learning framework which reflects the typical visual experience of a humanoid robot like the iCub. Experiments shed interesting insights on the strength and weaknesses of current computer vision approaches applied in real robotic settings.

연구 동기 및 목표

• 실제 로봇 환경에서 상용 딥 컨volution 네트워크의 확장성 평가.
• 일상 상호작용 중 인간형 로봇의 시각 경험을 반영한 벤치마크 데이터셋 iCubWorld28 개발.
• 맥락 정보, 시간적 일관성, 자기지도 학습이 로봇 시스템의 인식 성능 향상에 기여하는 방식 탐구.
• 실제 조건에서 iCub이 높은 정확도(98%)로 인식할 수 있는 물체의 최대 수량 정량화.
• 로봇 시각 인식 과제에서 최신 딥 러닝 아키텍처(CaffeNet, OverFeat 등)와 전통적 방법(BoW, Fisher Vectors 등)의 성능 비교.

제안 방법

• 4일간의 연속적인 일정 동안 인간 교사가 iCub에게 28개의 물체를 보여주며 인간-로봇 상호작용을 통해 iCubWorld28 데이터셋을 수집하고, 자동 레이블링을 위한 구두 설명을 제공.
• 물체 분류를 위해 사전 훈련된 CaffeNet을 시각적 표현 기반으로 사용하고, iCubWorld28 데이터셋에 대해 미세조정(fine-tuning)을 수행.
• 오프라인 결과의 일반화 능력을 실제 구현 환경에 적용할 때의 성능을 추정하기 위해 신뢰도 기반 성능 측정 방법을 도입.
• 로봇의 시각 스트림에서 연속 프레임을 활용하여 시간적 일관성을 활용해 인식의 견고성 향상.
• 이미지 내 간섭 요소의 영향을 줄이기 위해 약한 지도 학습 전략을 적용하여 모델의 일반화 능력 향상.
• 점진적이고 지속적인 학습을 시뮬레이션하기 위해 다일간 학습 설정을 도입하고, 각 학습 세션 동안의 성능 평가.

실험 결과

연구 질문

• RQ1 실제 세계 환경에서 상용 딥 컨volution 네트워크를 사용할 때 iCub 로봇이 98% 정확도로 몇 개의 물체를 인식할 수 있는가?
• RQ2 로봇이 수집한 데이터셋에서 딥 러닝 모델의 성능가 전통적인 시각 표현 방법(예: BoW, Fisher Vectors)의 성능를 비교할 때 어떤가?
• RQ3 연속적인 관찰에서 유도되는 시간적 일관성과 맥락 정보가 로봇 시스템의 물체 인식 성능 향상에 얼마나 기여하는가?
• RQ4 인식 결과의 신뢰도와 실제 환경 적용 가능성 간의 상관관계는 어떻게 되는가?
• RQ5 약한 지도 학습 전략을 통해 시각적 간섭 요소의 영향을 줄일 수 있고, 이로 인해 비제어 환경에서의 인식 성능 향상이 이루어지는가?

주요 결과

• 28개의 물체 중 오직 2개만 98% 정확도와 높은 신뢰도로 인식되어, 높은 성능의 모델을 사용하고도 실제 구현에서의 한계가 뚜렷하게 드러남.
• 사전 훈련된 딥 컨volution 네트워크(CaffeNet 및 OverFeat)는 BoW, Fisher Vectors, VLAD와 같은 전통적 방법보다 뚜렷이 뛰어난 성능을 보였으며, CaffeNet는 모든 날짜 평균 정확도 80.8%를 달성.
• 연속된 프레임 간의 시간적 일관성을 활용함으로써 인식의 견고성이 향상되어, 순차적 시각 데이터가 모델 성능 향상에 기여함을 시사.
• 간섭 요소의 영향을 줄이는 약한 지도 학습 전략을 적용함으로써 인식 정확도에 측정 가능한 향상이 있었으며, 특히 혼잡한 환경에서 두드러짐.
• 모든 모델의 성능가 시간이 지남에 따라 감소함(예: CaffeNet의 경우 Day 1: 75.9%, Day 4: 73.9%), 이는 실제 데이터 수집 과정에서 개념 이탈 또는 분포 이탈의 가능성을 시사.
• 최신 기술의 모델을 사용하고도 인간 수준의 성능(98% 정확도)을 달성하는 것은 여전히 매우 도전적이며, 오직 14개의 물체만 50%의 신뢰도로 인식됨.