[논문 리뷰] Towards Generating Virtual Movement from Textual Instructions A Case Study in Quality Assessment

Himangshu Sarma, Robert Porzel외 2명|arXiv (Cornell University)|2020. 06. 06.

Human Motion and Animation참고 문헌 4인용 수 4

한 줄 요약

이 연구는 텍스트로 제공된 운동 지시문에서 유도된 가상의 운동 동작의 인간 기반 품질 평가를 공동 작업을 통해 조사한다. RGB 비디오 시각화 방식이 전방 런지 운동에서 가장 높은 평가자 간 일치도를 보였으며(кappa = 0.74), 이는 자동화된 파이프라인 개발을 위한 운동 품질 평가의 최적 모odal로 활용될 수 있음을 뒷받침한다. 이는 운동 게임 및 치료 응용 분야에 유용하다.

ABSTRACT

Many application areas ranging from serious games for health to learning by demonstration in robotics, could benefit from large body movement datasets extracted from textual instructions accompanied by images. The interpretation of instructions for the automatic generation of the corresponding motions (e.g. exercises) and the validation of these movements are difficult tasks. In this article we describe a first step towards achieving automated extraction. We have recorded five different exercises in random order with the help of seven amateur performers using a Kinect. During the recording, we found that the same exercise was interpreted differently by each human performer even though they were given identical textual instructions. We performed a quality assessment study based on that data using a crowdsourcing approach and tested the inter-rater agreement for different types of visualizations, where the RGBbased visualization showed the best agreement among the annotators.

연구 동기 및 목표

• 텍스트로 제공된 운동 지시문에서 유도된 인간의 신체 운동 품질 평가를 위한 인간 기반 계산 방법의 타당성을 탐색하는 것.
• 공동 작업 환경에서 평가자가 운동 품질을 평가하기 위해 가장 신뢰할 수 있는 시각화 모달리티를 식별하는 것.
• 치료 및 게임 응용 분야에서 사용하기 위한 운동 지시서에서 가상의 운동을 자동 생성하는 데 있어 기초 단계를 마련하는 것.
• 다양한 운동 시각화 유형(RGB, 깊이, 스켈레톤, VR) 간 품질 평가 작업에서 평가자 간 일치도를 평가하는 것.
• 동일한 지시문을 바탕으로 하더라도 인간의 해석 차이가 존재하더라도 일관된 품질 평가가 가능할지 여부를 확인하는 것.

제안 방법

• 신체 자세(예: 서있는 자세, 앉아 있는 자세 등)에 따라 분류된 약 1000개의 운동 지시문 코퍼스(PEISC)를 수집하였다.
• 7명의 아마추어 수행자(남성 3명, 여성 4명; 평균 연령 25세, 표준편차 5세)가 킷슨(Kinect)을 사용하여 장비 없이 5가지 운동을 기록하였으며, 각 수행자당 10회 반복하였다.
• 킷슨 데이터에서 4가지 시각화 유형을 생성하였다: RGB(색상 비디오), 깊이 맵, 스켈레톤 데이터, 가상현실 렌더링.
• 20명의 참가자가 참여한 공동 작업 설문지를 설계하여, 모든 시각화 유형에서 최악의 수행을 제거하고 최고의 수행을 선택하는 방식으로 운동 품질을 평가하였다.
• 평가자 간 일치도를 측정하기 위해 캐파 통계를 사용하였다.
• 인구통계학적 데이터와 운동 후 지시문 이해도 피드백을 수집하여 지시문의 명확성과 수행 변동성을 평가하였다.

실험 결과

연구 질문

• RQ1 텍스트로 제공된 운동 지시문에서 유도된 인간의 신체 운동 품질 평가를 인간 기반 계산으로 신뢰성 있게 수행할 수 있는가?
• RQ2 RGB, 깊이, 스켈레톤, VR 중 어떤 운동 시각화 모달리티가 품질 평가 작업에서 가장 높은 평가자 간 일치도를 보이는가?
• RQ3 동일한 지시문을 바탕으로 다른 개인이 수행한 동일한 운동을 평가할 때 인간의 평가가 얼마나 일관된가?
• RQ4 텍스트 지시문의 명확성이 운동 수행의 변동성과 품질 평가의 변동성에 어느 정도 영향을 미치는가?
• RQ5 공동 작업을 통한 품질 평가는 텍스트에서 가상의 운동 생성으로 이어지는 파이프라인 자동화를 위한 타당한 중간 단계가 될 수 있는가?

주요 결과

• RGB 비디오 시각화 방식이 가장 높은 평가자 간 일치도를 보였으며, 전방 런지 운동에서 캐파 통계치가 0.74로 나타나 평가자 간 상당한 일치도를 보였다.
• 평가자 간 일치도는 운동 유형에 따라 달라졌으며, 전방 런지에서 가장 높은 캐파 값(0.74)과 가장 낮은 값(0.51)인 스쿼트에서 관찰되어 중간에서 상당한 신뢰도를 보였다.
• 동일한 텍스트 지시문을 바탕으로 하더라도 수행자들이 동일한 운동을 다르게 해석하여 개인 간 상당한 변동성이 존재함을 입증하였다.
• 지시문 이해도가 일관되지 않았다—일부 참가자는 지시서를 이해하기 어렵다고 느꼈고, 일부는 쉽게 이해했다고 평가하여 지시문의 명확성에 변동성이 있음을 시사하였다.
• 연구는 인간 평가자에게도 운동 품질 평가가 도전적인 작업임을 확인하였으며, 운동 유형과 시각화 유형에 따라 중간에서 상당한 평가자 간 일치도가 유지됨을 보였다.
• RGB 비디오는 평가자에게 가장 직관적이고 신뢰할 수 있는 모달리티로 인식되었으며, 이는 익숙함과 자연스러운 운동 표현 덕분일 것이다.