[논문 리뷰] OpenLORIS-Object: A Robotic Vision Dataset and Benchmark for Lifelong Deep Learning

Qi She, Fan Feng외 10명|arXiv (Cornell University)|2019. 11. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 5

한 줄 요약

이 논문은 실생활 환경에서 촬영한 동적 도전 과제(일조 변화, 가림, 혼잡함 등)를 고려한 새로운 RGB-D 데이터셋 및 벤치마크인 OpenLORIS-Object를 소개한다. 48개의 작업에서 9개의 최신 연속 학습 알고리즘을 평가한 결과, 전방 전이가 여전히 주요 과제로 남아 있으며, 복잡한 순차적 시나리오에서 전체 정확도가 약 60%로 떨어지며 현재 방법의 실세계 적용에서의 취약성을 드러낸다.

ABSTRACT

The recent breakthroughs in computer vision have benefited from the availability of large representative datasets (e.g. ImageNet and COCO) for training. Yet, robotic vision poses unique challenges for applying visual algorithms developed from these standard computer vision datasets due to their implicit assumption over non-varying distributions for a fixed set of tasks. Fully retraining models each time a new task becomes available is infeasible due to computational, storage and sometimes privacy issues, while naïve incremental strategies have been shown to suffer from catastrophic forgetting. It is crucial for the robots to operate continuously under open-set and detrimental conditions with adaptive visual perceptual systems, where lifelong learning is a fundamental capability. However, very few datasets and benchmarks are available to evaluate and compare emerging techniques. To fill this gap, we provide a new lifelong robotic vision dataset ("OpenLORIS-Object") collected via RGB-D cameras. The dataset embeds the challenges faced by a robot in the real-life application and provides new benchmarks for validating lifelong object recognition algorithms. Moreover, we have provided a testbed of $9$ state-of-the-art lifelong learning algorithms. Each of them involves $48$ tasks with $4$ evaluation metrics over the OpenLORIS-Object dataset. The results demonstrate that the object recognition task in the ever-changing difficulty environments is far from being solved and the bottlenecks are at the forward/backward transfer designs. Our dataset and benchmark are publicly available at at \href{https://lifelong-robotic-vision.github.io/dataset/object}{\underline{https://lifelong-robotic-vision.github.io/dataset/object}}.

연구 동기 및 목표

• 로봇 시각에서 장기적 학습을 위한 현실적이고 대규모의 벤치마크가 부족한 문제를 해결하기 위해, 특히 동적이고 실생활 조건에서의 성능 평가를 목적으로 한다.
• 배포 후 로봇이 겪는 전반적인 과제 스펙트럼을 포괄하는 데이터셋을 제공함으로써, 일조 변화, 가림, 혼잡함, 물체 크기 변화 등을 포함한다.
• 순차적이고 고변동성 작업 설정에서 기존 장기적 학습 알고리즘의 강건성과 전이 능력을 평가한다.
• 현재 장기적 학습 모델의 주요 실패 원인, 특히 전방 전이와 다양한 시각 분포 간 일반화 능력에서의 문제점을 규명한다.
• 향후 장기적 학습 알고리즘의 비교를 위한 표준화된 벤치마크를 로봇 시각 응용 분야에 정립한다.

제안 방법

• RGB-D 카메라와 자이로스코프를 탑재한 이동식 로봇 플랫폼(OpenLORIS)을 사용해 고해상도이자 시간적으로 일관된 영상 시퀀스를 촬영하여 데이터 수집.
• 일조, 가림, 물체 크기, 혼잡도의 4가지 핵심 환경 요소를 각각 3단계의 난이도로 체계적으로 변화시켜 총 12개의 순차적 작업 생성.
• 48개의 학습 작업(4개 요소 × 12단계 난이도)과 4개의 평가 지표(정확도, 역방향 전이(BWT), 전방 전이(FWT), 전체 정확도)를 포함한 벤치마크 제작.
• OpenLORIS-Object 데이터셋에서 단일 요소 및 순차적 다중 요소 설정에서 9개의 최신 장기적 학습 알고리즘을 구현하고 평가.
• 영상 시퀀스의 시간적 연속성을 활용해 객체 검출을 지원하고, 학습 및 추론 과정에서 분류의 강건성을 향상시킴.
• 다양하고 변화하는 시각 조건에서 장기적 학습 성능을 일관되고 재현 가능한 방식으로 평가할 수 있는 테스트베드 설계.

실험 결과

연구 질문

• RQ1 기존 장기적 학습 알고리즘이 순차적이고 고변동성 과제를 포함한 현실적이고 동적인 로봇 시각 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 장기적 로봇 물체 인식에서 전방 전이와 역방향 전이의 기여도가 전체 모델 성능에 미치는 상대적 영향은 무엇인가?
• RQ3 일조 변화, 가림, 혼잡도 등 여러 환경적 요소가 순차적으로 도입될 경우 현재 알고리즘이 성능을 얼마나 떨어뜨리는가?
• RQ4 메모리 사용량이 작업 수에 따라 선형 증가하는 만큼 실용성이 떨어지지만, 누적 재학습 기준선은 이 벤치마크에서 성능 상한선으로서 어떻게 작용하는가?
• RQ5 현재 장기적 학습 모델이 실세계 로봇 시각에서 오픈 세트 및 비정적 분포 이동 조건에서 주로 나타나는 실패 원인은 무엇인가?

주요 결과

• 일조 요소가 가장 도전적이었으며, 모든 알고리즘에서 전방 전이(FWT) 정확도가 일관되게 40%에서 50% 사이에 머물러 전체 성능을 심각하게 제한했다.
• 순차적 다중 요소 학습 시나리오에서 전체 정확도가 단일 요소 평가 시의 80% 이상에서 약 60%로 급격히 떨어졌으며, 복잡성 증가에 따른 성능 저하가 뚜렷했다.
• 대부분의 알고리즘이 역방향 전이(BWT)를 잘 유지했지만, 전방 전이 능력은 항상 취약했으며, 현재 장기적 학습 모델의 핵심 설계 격차를 드러냈다.
• 누적 재학습 기준선은 가장 높은 성능를 기록했지만, 작업 수 증가에 따라 선형 증가하는 메모리 요구량으로 인해 실세계 구현에는 비현실적이다.
• 기존 최신 알고리즘들은 다수의 환경 변화가 순차적으로 적용되는 장기적 순차 작업 스트림에 직면했을 때 높은 취약성과 불안정성을 보였다.
• 결과적으로 동적이고 실생활 환경에서의 장기적 물체 인식 문제는 여전히 해결되지 않았으며, 전방 전이 능력이 주요 과제로 남아 있음을 입증했다.