[논문 리뷰] Egocentric Human Segmentation for Mixed Reality

Andrija Gajić, Ester González-Sosa외 3명|arXiv (Cornell University)|2020. 05. 25.

Human Pose and Action Recognition참고 문헌 12인용 수 5

한 줄 요약

이 논문은 15,000장의 경량이며 반합성적인 데이터셋과 수정된 ThunderNet 아키텍처를 사용하여 실시간 이고세트릭 인간 신체 분할 방법을 제안한다. 이 방법은 720×720 이미지에서 16ms의 추론 시간을 달성하여 혼합현실 환경에서 고해상도 비디오 자기 아바타를 구현함으로써 몰입감과 몸소 느끼는 감각을 향상시키며, 실시간 성능의 희생 없이 가능하게 한다.

ABSTRACT

The objective of this work is to segment human body parts from egocentric video using semantic segmentation networks. Our contribution is two-fold: i) we create a semi-synthetic dataset composed of more than 15, 000 realistic images and associated pixel-wise labels of egocentric human body parts, such as arms or legs including different demographic factors; ii) building upon the ThunderNet architecture, we implement a deep learning semantic segmentation algorithm that is able to perform beyond real-time requirements (16 ms for 720 x 720 images). It is believed that this method will enhance sense of presence of Virtual Environments and will constitute a more realistic solution to the standard virtual avatars.

연구 동기 및 목표

• 픽셀 단위의 애너테이션이 있는 공개 가능하고 고품질의 이고세트릭 인간 신체 분할 데이터셋이 부족한 문제를 해결하기 위해.
• 완전한 신체 이고세트릭 시야(팔, 다리, 다양한 민족적 배경 포함)를 처리할 수 있는 실시간 세그멘테이션 모델을 개발하기 위해.
• 이고세트릭 카메라에서 얻은 실시간 영상 자기 아바타로 합성 아바타를 대체하여 가상 환경 내 몰입감과 몸소 느끼는 감각을 향상시키기 위해.
• 기존의 색상 기반 및 깊이 기반 방법이 비통제된 조명 조건과 의복 조건에서 겪는 한계를 극복하기 위해.
• 높은 분할 정확도를 유지하면서도 720×720 이미지당 16ms 이내의 실시간 성능(≤16ms)을 달성하기 위해.

제안 방법

• 실제 이고세트릭 신체 부위(팔, 다리)를 크로마키 배경에 촬영하여 현실적인 배경에 합성함으로써 수작업 픽셀 수준의 레이블링 없이 반합성적인 데이터셋을 생성하였다.
• ResNet-18 기반 인코더, 샘플링 요소가 6, 12, 18, 24인 피라미드 풀링 모듈(PPM), 디컨볼루션 블록을 갖춘 디코더를 포함한 수정된 ThunderNet 아키텍처를 사용하였다.
• 인코더와 디코더 사이에 세 개의 장거리 skip 연결을 추가하여 경계 예측을 정교화하고 분할 정확도를 향상시켰다.
• 클래스 불균형 문제를 해결하기 위해 가중치가 부여된 교차 엔트로피 손실(배경: 0.56, 인간: 3.27)을 사용하여 엔드 투 엔드로 네트워크를 훈련시켰다.
• 조명 및 공간적 변형에 대한 내성을 향상시키기 위해 색채 및 자르기 증강 기법을 적용하였다.
• ImageNet에서 미리 훈련된 가중치를 사용하여 Adam 옵timizer, 배치 크기 8, 25 에포크, 학습률 1e-5로 커스텀 데이터셋에 대해 파인튜닝하였다.

실험 결과

연구 질문

• RQ1 반합성적인 이고세트릭 인간 분할 데이터셋이 실시간 딥러닝 모델 훈련에 효과적으로 사용될 수 있는가?
• RQ2 가벼운 세그멘테이션 네트워크 아키텍처가 720×720 해상도 이미지에서 높은 정확도를 유지하면서도 실시간 추론(≤16ms)을 달성할 수 있는가?
• RQ3 다양한 피부 톤과 의복 유형에서 기존 방법 대비 분할 품질과 내성 면에서 제안된 아키텍처는 어떻게 비교되는가?
• RQ4 손실 가중치와 데이터 증강이 배경 영역의 오진 양성 결과를 줄이는 데 어떤 영향을 미치는가?
• RQ5 충분한 정밀도로 전신 이고세트릭 분할을 달성할 수 있는가, 이를 통해 혼합현실 환경에서 몰입감과 몸소 느끼는 감각이 향상되는가?

주요 결과

• 표준 PC에 듀얼 GTX-1080 Ti GPU를 장착한 환경에서 720×720 이미지당 16ms의 추론 시간을 달성하여 실시간 요구사항을 충족시켰다.
• GTEA 데이터셋에서 0.54의 IoU, TEgO 와일드 데이터셋에서 0.53의 IoU를 기록하며 다양한 벤치마크 데이터셋에서 경쟁력 있는 Intersection over Union(IoU) 점수를 유지하였다.
• 정성적 결과에서 복잡한 조명 조건과 가림 상황에서도 기존 방법 대비 개선된 경계 정확도와 감소된 오진 양성 결과를 보였다.
• 가중치가 부여된 교차 엔트로피 손실의 사용으로 배경의 변동성이 크더라도 인간 신체 부위에 더 집중할 수 있었으며, 배경 오버피팅이 감소하였다.
• 색채 및 자르기 증강 기법이 이고세트릭 시야에서의 조명 변화와 공간적 위치 변화에 대한 내성을 향상시켰다.
• 다시 말해, 일부 배경 영역에서의 오진 양성 결과는 여전히 존재하며, 향후 고급 손실 함수나 이중 단계 훈련을 통한 추가 정교화의 여지가 있음을 시사한다.