[논문 리뷰] HandSeg: A Dataset for Hand Segmentation from Depth Images.

Sri Raghu Malireddi, Franziska Mueller외 5명|arXiv (Cornell University)|2017. 11. 16.

Hand Gesture Recognition Systems참고 문헌 39인용 수 3

한 줄 요약

이 논문은 수동 레이블링을 최소화하는 장갑 기반 수집 파이프라인을 사용하여 자동으로 생성된 고품질의 애너테이션을 갖춘 대규모 RGBD 손 분할 데이터셋인 HandSeg를 소개한다. 저자들은 최대 풀링 및 언풀링 레이어 대신 스트라이드 컨벌루션/디컨벌루션을 사용하는 새로운 딥러닝 아키텍처를 제안하여 기준 모델 대비 뛰어난 성능과 낮은 추론 지연을 달성한다.

ABSTRACT

We introduce a large-scale RGBD hand segmentation dataset, with detailed and automatically generated high-quality ground-truth annotations. Existing real-world datasets are limited in quantity due to the difficulty in manually annotating ground-truth labels. By leveraging a pair of brightly colored gloves and an RGBD camera, we propose an acquisition pipeline that eases the task of annotating very large datasets with minimal human intervention. We then quantify the importance of a large annotated dataset in this domain, and compare the performance of existing datasets in the training of deep-learning architectures. Finally, we propose a novel architecture employing strided convolution/deconvolutions in place of max-pooling and unpooling layers. Our variant outperforms baseline architectures while remaining computationally efficient at inference time. Source and datasets will be made publicly available.

연구 동기 및 목표

• RGBD 영상에서 대규모 고품질 손 분할 데이터셋의 부족 문제를 해결하기 위해.
• 색상 장갑과 RGBD 카메라를 활용하여 손 분할 마스크 레이블링에 필요한 인간의 노력 감소를 위해.
• 딥러닝 성능에 대한 데이터셋 크기의 영향을 평가하기 위해.
• 표준 모델 대비 최대 풀링 및 언풀링 레이어를 사용하지 않는 계산 비용이 낮은 신경망 아키텍처 설계를 위해.

제안 방법

• 이중 장갑 기반 수집 파이프라인은 깊이 및 RGB 데이터를 촬영하여 색상 기반 손 감지 기반으로 자동으로 분할 마스크 생성을 가능하게 한다.
• 이 방법은 색상 세그멘테이션과 깊이 신호를 조합하여 대규모로 정밀한 자동 지도 데이터를 생성한다.
• 최대 풀링 및 언풀링을 스트라이드 컨벌루션 및 디컨벌루션으로 대체하는 새로운 신경망 아키텍처를 설계하여 공간 해상도 유지 및 계산 비용 감소를 달성한다.
• 이 아키텍처는 HandSeg 데이터셋에서 엔드 투 엔드로 훈련되어 손 분할 정확도를 최적화한다.
• 제안된 모델은 제안된 데이터셋과 기존 데이터셋에서 표준 U-Net 및 FCN 기준 모델과 비교 평가된다.

실험 결과

연구 질문

• RQ1 RGBD 영상에서 손 분할에 대한 딥러닝 모델의 성능에 대해 데이터셋 크기를 증가시키면 어떤 영향을 미치는가?
• RQ2 장갑 기반 시스템이 고정밀도로 확장 가능한 자동 손 분할 마스크 애너테이션을 가능하게 할 수 있는가?
• RQ3 최대 풀링 및 언풀링을 스트라이드 컨벌루션/디컨벌루션으로 대체하면 성능 향상과 함께 추론 효율성을 유지할 수 있는가?
• RQ4 제안된 아키텍처는 표준 아키텍처 대비 정확도와 추론 속도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 HandSeg 데이터셋은 크기와 애너테이션 품질 측면에서 기존 데이터셋을 크게 능가하여 모델의 일반화 능력을 향상시킨다.
• 장갑 기반 수집 파이프라인은 수동 애너테이션 작업을 90% 이상 감소시키면서도 높은 애너테이션 정밀도를 유지한다.
• 스트라이드 컨벌루션/디컨벌루션을 사용하는 새로운 아키텍처는 동일한 데이터셋에서 기준 모델 대비 더 높은 평균 교차율(mIoU)을 달성한다.
• 언풀링 레이어를 사용하는 모델 대비 제안된 모델은 낮은 추론 지연을 유지하여 실시간 응용에 적합하다.