[논문 리뷰] MVOR: A Multi-view RGB-D Operating Room Dataset for 2D and 3D Human Pose Estimation

Vinkle Srivastav, Thibaut Issenhuth외 4명|arXiv (Cornell University)|2018. 08. 24.

Surgical Simulation and Training인용 수 26

한 줄 요약

이 논문은 하이브리드 수술실에서 실제 임상적 개입 중 기록된 공개된 다중 시점 RGB-D 데이터셋인 MVOR를 소개한다. 이 데이터셋은 동기화된 3D 카메라 데이터, 2D/3D 인간 자세 주석, 경계 상자(annotation)를 포함하며, 가림, 혼잡함 등의 실제 환경 도전 과제 하에서 2D 및 3D 다중 인물 자세 추정의 평가를 가능하게 한다. 기준 성능 결과는 향상 여지가 크며, 익명화 블러링으로 인한 성능 저하도 최소한도에 그친다.

ABSTRACT

Person detection and pose estimation is a key requirement to develop intelligent context-aware assistance systems. To foster the development of human pose estimation methods and their applications in the Operating Room (OR), we release the Multi-View Operating Room (MVOR) dataset, the first public dataset recorded during real clinical interventions. It consists of 732 synchronized multi-view frames recorded by three RGB-D cameras in a hybrid OR. It also includes the visual challenges present in such environments, such as occlusions and clutter. We provide camera calibration parameters, color and depth frames, human bounding boxes, and 2D/3D pose annotations. In this paper, we present the dataset, its annotations, as well as baseline results from several recent person detection and 2D/3D pose estimation methods. Since we need to blur some parts of the images to hide identity and nudity in the released dataset, we also present a comparative study of how the baselines have been impacted by the blurring. Results show a large margin for improvement and suggest that the MVOR dataset can be useful to compare the performance of the different methods.

연구 동기 및 목표

• 복잡한 수술 환경에서 인간 자세 추정을 위한 실제 환경에서 기록된 임상 데이터셋의 부족을 해결하기 위해.
• 가림, 혼잡함, 동적인 움직임과 같은 본질적인 시각적 과제를 지닌 실제 수술 개입을 촬영한 기준 데이터셋을 제공하기 위해.
• 통제된 스튜디오 환경과 유사한 데이터셋을 넘어서 일반화 가능한 2D 및 3D 자세 추정 방법의 개발을 지원하기 위해.
• 익명화(블러링)가 자세 추정 성능에 미치는 영향을 평가하여, 데이터 프라이버시를 보장하면서도 주요 성능 손실가 최소화되도록 하기 위해.
• 최신 기술의 다수 방법을 실제 임상 데이터에서 비교 평가함으로써, 맥락 인식 수술 보조 시스템의 발전을 이끌기 위해.

제안 방법

• 실제 개입 수술 중 천장에 장착된 3대의 RGB-D 카메라(Asus Xtion Pro)로부터 732개의 동기화된 다중 시점 프레임을 촬영하였다.
• 20 FPS 속도로 640×480 해상도의 색상 및 깊이 이미지를 촬영하였으며, 카메라 캘리브레이션 및 고정 변환을 통해 전역 좌표계에 통합하였다.
• 다양한 시점에서 4,699개의 인간 경계 상자, 2,926개의 2D 상체 자세, 1,061개의 3D 상체 자세를 주석 처리하였다.
• 환자 신원 및 노출을 익명화하기 위해 선택적 블러링을 적용하여 컴퓨터 비전 알고리즘에 미치는 영향을 최소화하였다.
• 다양한 최신 기술의 2D 및 3D 자세 추정 모델들(예: OpenPose, AlphaPose, Deep3DPS, MV3DReg)을 블러 처리된 이미지와 원본 이미지 모두에서 평가하였다.
• 감지 및 자세 추정 성능 평가를 위해 PCK, MPJPE, AP, AR과 같은 표준 지표를 사용하였으며, 다양한 시점 가시성 수준에서 분석하였다.

실험 결과

연구 질문

• RQ1 2D 및 3D 자세 추정 모델의 성능은 통제된 데이터셋 대비 실제 수술실 환경에서 얼마나 떨어지는가?
• RQ2 익명화를 위한 이미지 블러링이 복잡한 수술 장면에서 인간 자세 추정 정확도에 어느 정도의 영향을 미치는가?
• RQ3 다중 시점 융합은 가림 및 혼잡한 환경에서 3D 자세 추정을 어떻게 향상시키는가?
• RQ4 기존 최신 기술 방법들이 높은 시각적 복잡성과 동적인 상호작용을 포함하는 실제 임상 데이터에 일반화될 수 있는가?
• RQ5 1개, 2개 또는 3개의 시점 수에 따라 다중 인물 시나리오에서 3D 자세 추정 정확도는 어떻게 변화하는가?

주요 결과

• MVOR 데이터셋은 실제 임상 개입에서 기록한 732개의 다중 시점 프레임을 포함하며, 4,699개의 경계 상자, 2,926개의 2D 자세, 1,061개의 3D 자세를 포함한다.
• AlphaPose를 사용한 기준 2D 자세 추정 결과, 블러 처리된 이미지에서 76.2%의 PCK를 기록하였고, 원본 이미지에서는 75.8%를 기록하여 블러링으로 인한 성능 저하가 최소임을 확인하였다.
• MV3DReg를 사용한 3D 자세 추정 결과, 3개 시점 데이터에서 평균 MPJPE가 10.0 cm였고, 어깨 관절에서는 4.9 cm로 감소하여 다중 시점 입력의 이점을 입증하였다.
• Faster R-CNN를 사용한 인물 검출 결과, 원본 이미지에서 AP가 52.3%였고, 블러 처리된 이미지에서는 50.4%로 나타나 AR 값 역시 근소한 감소를 보였다.
• 비교 연구 결과, 블러링이 자세 추정 성능에 미치는 영향이 거의 없음을 확인하여, 이 데이터셋이 프라이버시 보호 연구에 유용하다는 것을 입증하였다.
• 성능 향상 여지가 매우 크며, 특히 3D 자세 추정 분야에서 실질적인 수술실 환경의 도전 과제를 반영하고 있음을 시사한다.