[논문 리뷰] ORBIT: A Real-World Few-Shot Dataset for Teachable Object Recognition

Daniela Massiceti, Luisa Zintgraf외 7명|arXiv (Cornell University)|2021. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 3

한 줄 요약

이 논문은 실생활 소수의 예시 영상 데이터셋인 ORBIT를 소개한다. 이 데이터셋은 486개의 물체에서 3,822개의 영상을 망각/시력이 떨어진 사용자가 모바일 기기로 촬영한 것으로, 가르칠 수 있는 물체 인식기의 성능을 평가하기 위해 설계되었다. 이 데이터셋은 새로운 최고 성능 기준을 설정하며, 실생활 소수의 예시 설정에서 높은 변동성에 대한 강건성의 필요성을 입증하고, 정제된 데이터셋을 넘어서 실생활 시각 응용 기술의 발전을 위한 기반을 제공한다.

ABSTRACT

Object recognition has made great advances in the last decade, but predominately still relies on many high-quality training examples per object category. In contrast, learning new objects from only a few examples could enable many impactful applications from robotics to user personalization. Most few-shot learning research, however, has been driven by benchmark datasets that lack the high variation that these applications will face when deployed in the real-world. To close this gap, we present the ORBIT dataset and benchmark, grounded in the real-world application of teachable object recognizers for people who are blind/low-vision. The dataset contains 3,822 videos of 486 objects recorded by people who are blind/low-vision on their mobile phones. The benchmark reflects a realistic, highly challenging recognition problem, providing a rich playground to drive research in robustness to few-shot, high-variation conditions. We set the benchmark's first state-of-the-art and show there is massive scope for further innovation, holding the potential to impact a broad range of real-world vision applications including tools for the blind/low-vision community. We release the dataset at https://doi.org/10.25383/city.14294597 and benchmark code at https://github.com/microsoft/ORBIT-Dataset.

연구 동기 및 목표

• 시력이 떨어진 사람들에 특화된 실생활 응용에 기반한 실질적인 응용을 반영한 소수의 예시 학습 연구의 격차를 메우기 위해.
• 정제된 벤치마크와는 달리, 열악한 프레임, 가림, 흐림, 다양한 조명 조건 등 실생활 조건에서의 높은 변동성을 반영한 데이터셋을 개발하기 위해.
• 개인화 및 계산 비용을 측정하는 사용자 중심의 소수의 예시 학습 벤치마크를 만들기 위해, 모바일 기기에서의 실생활 구현 조건을 반영하기 위해.
• 기존의 포화 상태에 이르고 정형화된 벤치마크를 넘어서, 도전적이고 현실적인 테스트베드를 제공함으로써 강건하고 일반화 가능한 소수의 예시 영상 인식 기술의 혁신을 이끌기 위해.
• 공개된 데이터셋과 벤치마크 코드를 통해 실생활에서의 높은 변동성 조건에서 영상 기반 소수의 예시 학습 및 전이 학습 연구를 가능하게 하기 위해.

제안 방법

• 일상 환경에서 77명의 망각/시력이 떨어진 개인이 모바일 기기로 촬영한 486개의 서로 다른 물체에 대한 3,822개의 영상을 수집한다.
• 사용자가 몇 개의 예시 영상 영상을 제공함으로써 개인의 물체 인식 필요에 맞게 모델을 학습하는 가르칠 수 있는 물체 인식기(TORs)에 기반한 소수의 예시 벤치마크를 설계한다.
• 프레임 수준 및 영상 수준의 정확도, 추론 시간, 개인 사용자에 대한 모델 개인화를 측정하는 새로운 평가 프로토콜을 제안한다.
• 시간적 집계와 특징 학습을 사용하여 영상 입력에 적합하게 조정된 최첨단 소수의 예시 학습 모델 네 가지—CNAPs, ProtoNets, MAML, FineTuner—를 구현하고 평가한다.
• 다양한 물체 유형에 소수의 예시로 모델을 학습시키기 위해 메타학습 전략을 사용하여 실생활 적응 시나리오를 시뮬레이션한다.
• 실생활 컴퓨팅 및 사용성 제약 조건을 반영하기 위해 FTR(프레임에서 영상로 인식 비율) 및 개인화 점수와 같은 지표를 도입한다.

실험 결과

연구 질문

• RQ1 소수의 예시 영상 인식 모델은 사용자가 통제하지 않은 환경에서 촬영한 높은 변동성을 띤 실생활 데이터에 효과적으로 일반화될 수 있는가?
• RQ2 실생활 저품질 영상 데이터로 학습된 모델과 정제된 고품질 벤치마크로 학습된 모델의 성능는 어떻게 다를까?
• RQ3 몇 개의 예시로만 새로운 사용자와 새로운 물체에 적응할 수 있는 메타학습 모델은 모바일 기기에서 낮은 추론 비용을 유지하면서 얼마나 잘 작동할 수 있는가?
• RQ4 각 물체당 학습 영상 수와 사용자당 물체 수를 변화시켰을 때 모델의 일반화 및 개인화에 어떤 영향을 미치는가?
• RQ5 합성 또는 정제된 데이터셋이 아닌 실생활 영상의 다양한 세트에서 메타학습을 수행하면, 기존의 데이터셋보다 강건성이 향상되는가?

주요 결과

• ORBIT 벤치마크는 소수의 예시 영상 인식 분야에서 새로운 최고 성능 기준을 수립하였으며, FineTuner 방법을 사용한 최고의 모델이 영상 수준 정확도 61.13%를 달성하였다.
• ORBIT에서 학습된 모델는 기존의 표준 벤치마크인 mini-ImageNet에서 평가했을 때 성능가 장기간 감소함을 보이며, 실생활의 변동성이 기존 데이터셋에서 포괄되지 않는다는 것을 입증하였다.
• 물체당 학습 영상 수를 늘릴수록 성능 향상이 이루어지지만, 물체당 50개의 컨텍스트 영상 이상에서는 성능 향상의 효과가 둔화됨을 보이며, 수익 감소 현상을 시사한다.
• 테스트 시에 만나게 되는 물체 수보다 적은 수의 물체로 메타학습을 수행해도 성능 저하가 거의 없음을 확인하여, 새로운 물체 수에 대한 강력한 일반화 능력을 보였다.
• 50개 이상의 학습 작업(T_train)을 샘플링해도 성능 향상이 제한적이며, 데이터 샘플링 시에 정보량이 중요한데, 단순한 양보다는 이를 우선시해야 함을 시사한다.
• 벤치마크는 현재의 모델들이 프레임링, 가림, 흐림 등의 높은 변동성에 대해 어려움을 겪고 있음을 드러내며, 실생활 구현에서의 강건성 향상 필요성을 강조한다.