[논문 리뷰] BusyHands: A Hand-Tool Interaction Database for Assembly Tasks Semantic Segmentation

Roy Shilkrot, Zhi Chai외 1명|arXiv (Cornell University)|2019. 02. 19.

Advanced Neural Network Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 수작업 조립 작업에서 손과 도구 간 상호작용을 위한 의미 분할을 향상시키기 위해 실물 및 합성 이미지 총 7,905장을 포함하는 새로운 RGB+D 데이터셋인 BusyHands를 소개한다. 이 데이터셋은 손, 도구, 작업 부품 등 16개의 의미 클래스를 정확하게 레이블링하여 제공되며, 최신 기술 모델의 벤치마크를 가능하게 한다. 실물 데이터만으로 학습하는 것에 비해 실물과 합성 데이터를 조합하면 mIOU가 최대 80% 향상된다.

ABSTRACT

Visual segmentation has seen tremendous advancement recently with ready solutions for a wide variety of scene types, including human hands and other body parts. However, focus on segmentation of human hands while performing complex tasks, such as manual assembly, is still severely lacking. Segmenting hands from tools, work pieces, background and other body parts is extremely difficult because of self-occlusions and intricate hand grips and poses. In this paper we introduce BusyHands, a large open dataset of pixel-level annotated images of hands performing 13 different tool-based assembly tasks, from both real-world captures and virtual-world renderings. A total of 7906 samples are included in our first-in-kind dataset, with both RGB and depth images as obtained from a Kinect V2 camera and Blender. We evaluate several state-of-the-art semantic segmentation methods on our dataset as a proposed performance benchmark.

연구 동기 및 목표

• 조립 작업에서 인간의 손이 도구와 상호작용하는 장면에 대한 대규모로 완전히 레이블링된 의미 분할 데이터셋의 부족을 해결하기 위해.
• 복잡한 실제 및 합성 손-도구 상호작용 장면에서 딥 러닝 모델의 훈련과 평가를 지원하는 벤치마크 데이터셋을 제공하기 위해.
• 산업 및 개인 제작 환경에서 강건하고 일반화 능력이 뛰어난 의미 분할 모델에 대한 연구를 가능하게 하기 위해.
• 실제 손-도구 상호작용 데이터에서의 분할 성능 향상에 합성 데이터 증강 기법이 얼마나 효과적인지 탐구하기 위해.

제안 방법

• 데이터셋은 Kinect V2를 통해 촬영한 실물 이미지와 Blender를 사용해 렌더링한 합성 이미지 쌍 총 7,905개로 구성되며, 13종의 도구 기반 조립 작업을 포함한다.
• 손, 도구(예: 드라이버, 렌치), 작업 부품, 배경 등 16개의 의미 클래스에 대해 픽셀 수준의 레이블링을 수동 및 자동 레이블링 파이프라인을 통해 생성하였다.
• 실제 촬영 데이터와 합성 렌더링 데이터를 모두 포함하며, 합성 데이터는 3D 모델링과 사진 수준의 현실감 있는 렌더링을 통해 다양성과 확장성을 높였다.
• FRRN, DeepLabV3+, MobileUNet, SegNet 등의 최신 의미 분할 모델을 대상으로 비교 평가를 실시하였으며, 주요 평가 지표로 mIOU를 사용하였다.
• 실물 데이터, 합성 데이터, 실물+합성 데이터 조합 등 다양한 데이터 분할 전략을 평가하여 도메인 일반화 능력과 데이터 효율성을 분석하였다.
• 노이즈 감소를 위해 블롭 기하학 분석 등의 사후 처리 기법을 고려하였지만, 주요 실험에서는 적용하지 않았다.

실험 결과

연구 질문

• RQ1 실제 데이터만으로 학습할 경우와 합성 데이터만으로 학습할 경우 의미 분할 모델의 성능가 어떻게 달라지는가?
• RQ2 실제 데이터와 합성 데이터를 조합하면 실제 테스트 세트에서 분할 정확도가 얼마나 향상되는가?
• RQ3 다양한 최신 아키텍처는 손-도구 상호작용 작업에서 흔히 발생하는 복잡하고 가림이 발생하며 혼잡한 장면에서 어떻게 성능를 내는가?
• RQ4 손-도구 상호작용 장면에서 깊이 모odal리티(RGB+D)가 분할 정확도에 미치는 영향은 어떠한가?
• RQ5 합성 데이터는 실제 환경에 효과적으로 일반화될 수 있는가? 그 한계는 무엇인가?

주요 결과

• FRRN-B 모델이 모든 카테고리에서 가장 높은 mIOU 성능를 기록하였으며, DeepLabV3+ 및 SegNet-Skip와 비교해도 뛰어난 성능를 보였다.
• 실제 데이터와 합성 데이터를 함께 학습한 결과, 실재 테스트 세트에서의 mIOU는 실물 전용 학습(FRRN-A, 실물만)의 0.336에서 0.502로 상승하여 상대적 성능 향상률이 50%에 달했다.
• 다양한 모델에서 합성 데이터의 성능 향상 효과가 일관되게 나타났으며, mIOU 향상률이 최대 80%에 달했으나, MobileUNet의 경우 성능이 약간 저하되었다.
• 손, 도구, 사지의 분할은 일반적으로 정확했지만, 무작위로 놓인 테이블 물체들이 자주 도구로 잘못 분류되어 예측의 노이즈가 존재함을 시사했다.
• 깊이 데이터의 포함으로 분할 정확도가 뚜렷이 향상되었으며, COCO나 ADE20K 등의 데이터셋과 비교해 더 높은 mIOU와 더 정밀한 경계 부착 성능를 보였다.
• 합성 데이터만으로도 높은 mIOU(0.714, FRRN-A 기준)를 달성하여, 실물 데이터와 조합할 경우 도메인 일반화 잠재력이 매우 높음을 시사했다.