[논문 리뷰] Incremental Learning for Robot Perception through HRI

Sepehr Valipour, Camilo Perez외 1명|arXiv (Cornell University)|2017. 01. 17.

Multimodal Machine Learning Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 인간-로봇 상호작용(HRI) 기반의 점진적 학습 프레임워크를 제안하여, 수동적 인간 지시를 통해 로봇이 지속적으로 시각적 인식 능력을 향상시킬 수 있도록 한다. 딥 러닝 기반의 객체 검출 및 인식과 포인터 및 음성 명령을 통한 실시간 인간 피드백을 융합함으로써, 로봇은 지식 기반을 점진적으로 확장하며, 수많은 새로운 객체 클래스를 추가한 후에도 치명적인 잊음( catastrophic forgetting) 없이 안정적인 성능(1위 정확도 >0.45)을 달성한다.

ABSTRACT

Scene understanding and object recognition is a difficult to achieve yet crucial skill for robots. Recently, Convolutional Neural Networks (CNN), have shown success in this task. However, there is still a gap between their performance on image datasets and real-world robotics scenarios. We present a novel paradigm for incrementally improving a robot's visual perception through active human interaction. In this paradigm, the user introduces novel objects to the robot by means of pointing and voice commands. Given this information, the robot visually explores the object and adds images from it to re-train the perception module. Our base perception module is based on recent development in object detection and recognition using deep learning. Our method leverages state of the art CNNs from off-line batch learning, human guidance, robot exploration and incremental on-line learning.

연구 동기 및 목표

• 객체 카테고리가 동적으로 변화하고 사전에 완전히 알려지지 않은 실제 환경에서의 로봇 인식 도전 과제를 해결하기 위해.
• 포인터 및 음성 레이블링과 같은 자연스러운 인간-로봇 상호작용을 통해 로봇이 새로운 객체 카테고리를 점진적으로 학습할 수 있도록 하기 위해.
• 기존 클래스를 기억하는 것을 유지하면서도 지속적으로 새로운 클래스를 추가함으로써 높은 인식 정확도를 유지를 위한 시스템을 개발하기 위해.
• 상호작용 기반의 대화식 학습을 통해 인간과 로봇 간의 공통 지식 기반을 구축하기 위해.
• 전자공학 워크숍과 같은 실제 로봇 애플리케이션에서 점진적 시각 인식의 실현 가능성을 입증하기 위해.

제안 방법

• 시스템은 RPN과 CNN 기반의 사전 학습된 딥 러닝 모델을 사용하여 실시간 객체 검출 및 인식을 수행하며, GeForce 960 GPU에서 추론 시간이 150ms이다.
• 새로운 객체 카테고리는 인간 상호작용을 통해 도입된다: 사용자는 객체를 가리키고 음성으로 레이블을 지정함으로써 공통 지식 기반을 설정한다.
• 로봇은 자체 카메라를 이용해 객체를 자율적으로 탐색하고, 인식 모듈 재학습을 위한 다수의 이미지를 수집한다.
• 수집된 새로운 이미지를 사용해 모델을 점진적으로 미세조정하며, 분류기 헤드를 업데이트하여 새로운 카테고리를 포함한다.
• 이 접근법은 초기 인식을 위해 시장에서 확보 가능한 최첨단 CNN을 활용하고, 이후 온라인 점진적 학습을 적용해 새로운 데이터에 적응한다.
• 성능 평가는 1위 정확도와 평균 정밀도(AP)를 사용하며, 기존 클래스와 신규 클래스를 모두 포함한 테스트 세트에서 메트릭을 계산한다.

실험 결과

연구 질문

• RQ1 로봇이 기존에 학습한 클래스를 잊지 않으면서도 지속적인 인간 상호작용을 통해 시각적 인식 능력을 점진적으로 확장할 수 있는가?
• RQ2 새로운 객체 카테고리가 점진적으로 추가될 때 딥 러닝 모델의 인식 정확도가 어떻게 저하되는가? 이 저하를 최소화할 수 있는가?
• RQ3 로봇이 인간 지도 기반 탐색을 통해 수집한 이미지가 ImageNet과 같은 일반적인 데이터셋에 비해 점진적 학습 시나리오에서 얼마나 우수한 성능을 보이는가?
• RQ4 자연스러운 인간-로봇 상호작용(포인터 및 음성 명령)이 로봇에게 새로운 객체 카테고리를 가르치는 데 있어 확장 가능하고 신뢰할 수 있는 방법으로 효과적으로 기능할 수 있는가?
• RQ5 객체 검출 및 인식에 시간적 일관성을 통합하면 장기적인 인식 견고성이 어떻게 향상되는가?

주요 결과

• 기본 모델에서 1위 정확도가 0.45를 기록하며 높은 수준의 인식 성능를 유지한다. 이는 MS-COCO 데이터셋의 난이도를 감안할 때 예상 가능한 결과이다.
• 점진적으로 새로운 객체 카테고리를 추가한 후에도 정확도 저하가 낮은 기울기로 나타나, 수차례의 추가 후에도 치명적인 잊음이 최소화됨을 시사한다.
• HRI를 통해 수집된 이미지의 성능는 ImageNet의 이미지와 거의 동일하며, 정확도는 약간 떨어지지만, 로봇이 수집한 데이터가 점진적 학습에 매우 효과적임을 시사한다.
• 소비자용 GPU에서 150ms의 프레임당 실시간 추론을 달성하며, R-CNN보다 빠른 속도를 보이며, 최첨단 기술(0.224)과 비교해 경쟁력 있는 평균 정밀도(0.2026)를 유지한다.
• 인간 지도와 로봇 탐색의 조합은 실제 전자공학 워크숍 시나리오에서 새로운 객체 카테고리의 신뢰성 있고 확장 가능한 학습을 가능하게 한다.
• 정확도가 정확한 로컬라이제이션(IoU > 0.5)과 정확한 분류가 모두 필요한 총 시스템 정확도는 0.1704에 도달하며, 이는 로컬라이제이션과 인식이 모두 도전적이지만 점진적 환경에서 관리 가능하다는 것을 시사한다.