[논문 리뷰] Ego2Hands: A Dataset for Egocentric Two-hand Segmentation and Detection

Fanqing Lin, Price, Brian외 1명|arXiv (Cornell University)|2020. 11. 14.

Hand Gesture Recognition Systems참고 문헌 34인용 수 12

한 줄 요약

이 논문은 약 180,000개의 반자동으로 주석 처리된 오른손 인스턴스와 2,000개의 수동으로 검증된 프레임을 포함한 대규모 이고세트릭 RGB 데이터셋인 Ego2Hands를 소개한다. 색상에 영향을 받지 않는 복합 기법을 통해 오른손 이미지를 수평으로 뒤집어 왼손으로 활용함으로써 도메인 일반화가 가능한 모델을 구현하였으며, 도메인 적응 없이도 새로운 환경에서도 높은 정확도를 달성하여 이전의 벤치마크에 비해 다양성, 주석 품질, 일반화 능력에서 뛰어난 성능을 보였다.

ABSTRACT

Hand segmentation and detection in truly unconstrained RGB-based settings is important for many applications. However, existing datasets are far from sufficient in terms of size and variety due to the infeasibility of manual annotation of large amounts of segmentation and detection data. As a result, current methods are limited by many underlying assumptions such as constrained environment, consistent skin color and lighting. In this work, we present Ego2Hands, a large-scale RGB-based egocentric hand segmentation/detection dataset that is semi-automatically annotated and a color-invariant compositing-based data generation technique capable of creating training data with large quantity and variety. For quantitative analysis, we manually annotated an evaluation set that significantly exceeds existing benchmarks in quantity, diversity and annotation accuracy. We provide cross-dataset evaluation as well as thorough analysis on the performance of state-of-the-art models on Ego2Hands to show that our dataset and data generation technique can produce models that generalize to unseen environments without domain adaptation.

연구 동기 및 목표

• 실세계 적용을 위한 대규모, 다양한, 정확하게 주석 처리된 이고세트릭 손 분할 및 탐지 데이터셋의 부족을 해결한다.
• 제한된 조명 조건, 피부 색상 일관성 또는 도메인 이동이 발생하는 합성 데이터에 의존하는 기존 데이터셋의 한계를 극복한다.
• 반자동 주석 처리 파이프라인과 복합 기반 데이터 생성 기법을 개발하여 데이터 수집을 확장하면서도 현실감과 다양성을 유지한다.
• 새로운 장면에서의 도메인 적응 없이도 RGB 기반 손 분할 및 탐지 모델의 도메인 일반화를 가능하게 한다.
• 다양한 조명 조건과 손 간 상호 가림 현상이 있는 실제 이고세트릭 손 인식에 대한 최신 모델 평가 벤치마크를 제공한다.

제안 방법

• 녹색 스크린 환경을 활용해 약 180,000개의 고유한 오른손 인스턴스를 반자동으로 분할 주석 처리한다.
• 오른손 이미지를 수평으로 뒤집어 왼손 인스턴스를 생성함으로써 실제적인 이중손 조합과 손 간 상호 가림을 가능하게 한다.
• 회색조 이미지와 윤곽선 맵을 사용한 색상에 영향을 받지 않는 입력 공간을 도입하여 조명 및 피부 톤 변동에 대한 강건성을 향상시킨다.
• 손 탐지와 분할을 동시에 지원하기 위해 반자동 히트맵 에너지 주석 처리 방법을 개발한다.
• 복합 기반 데이터 생성 기법을 활용해 실제적인 손 자세, 배경, 조명 조건을 가진 다양한 훈련 샘플을 합성한다.
• Ego2Hands 데이터셋에서 딥 러닝 모델(예: ICNet, RefineNet, UNet 변종)을 훈련 및 평가하여 일반화 및 적응 성능를 평가한다.

실험 결과

연구 질문

• RQ1 복합 기반 데이터 생성 기법이 도메인 적응 없이도 새로운 이고세트릭 환경으로 일반화 가능한 훈련 데이터를 생성할 수 있는가?
• RQ2 반자동 주석 처리 파이프라인은 전면 수동 주석 처리에 비해 확장성과 주석 정확도 측면에서 어떻게 비교되는가?
• RQ3 회색조 이미지와 윤곽선 맵을 입력으로 사용할 경우 실제 환경에서 조명 및 피부 톤 변동에 대한 모델의 강건성이 어느 정도 향상되는가?
• RQ4 다양한 네트워크 아키텍처(예: UNet, ICNet, RefineNet)는 Ego2Hands 벤치마크에서 정확도, 추론 속도, 모델 크기 사이의 상호 보완적 특성에서 어떻게 균형을 이룬다?
• RQ5 Ego2Hands에서 훈련된 모델은 다양한 피부 톤과 조명 조건을 가진 새로운 장면에서의 교차 데이터셋 평가에서도 높은 성능을 달성할 수 있는가?

주요 결과

• Ego2Hands 데이터셋은 약 180,000개의 고유한 오른손 인스턴스와 2,000개의 수동 주석 처리된 평가 프레임을 포함하며, 양과 다양성 측면에서 기존의 벤치마크를 크게 초월한다.
• Ego2Hands에서 훈련된 모델은 도메인 적응 없이도 다양한 조명 조건과 피부 톤에서 높은 분할 및 탐지 정확도를 달성하며, 뛰어난 일반화 성능를 보였다.
• ICNet는 중간 크기의 모델과 추론 속도를 바탕으로 정확도와 효율성 사이의 균형을 잘 이룬 강력한 성능를 보였다.
• 평가된 모델들 중에서 RefineNet가 가장 높은 일반화 정확도를 기록하여, Ego2Hands 데이터와 함께 깊이 있는 아키텍처가 효과적임을 입증했다.
• $\text{UNet}_{1/8}$