[논문 리뷰] Finger Grip Force Estimation from Video using Two Stream Approach

Andrey Sartison, Dima Mironov외 2명|arXiv (Cornell University)|2018. 03. 05.

Hand Gesture Recognition Systems참고 문헌 13인용 수 3

한 줄 요약

이 논문은 공간적 특징과 광학 흐름을 통한 시간적 동적 특징을 융합한 비침습적, 이중 스트림 영상 기반 방법을 제안한다. 이는 프레임에서 추출한 공간적 특징과 광학 흐름에서 유도된 시간적 동적 특징을 칼만 필터를 통해 융합하여 손에 쥐는 힘을 추정한다. 이 방법은 약 0.2 N의 RMSE를 달성하여 센서 범위의 10% 미만으로 정확한 힘 추정을 가능하게 하며, 물리적 센서 없이도 정확한 힘 추정이 가능하다. 이는 로봇 교육 및 힘 피드백 시스템에 적용 가능하다.

ABSTRACT

Estimation of a hand grip force is essential for the understanding of force pattern during the execution of assembly or disassembly operations. Human demonstration of a correct way of doing an operation is a powerful source of information which can be used for guided robot teaching. Typically to assess this problem instrumented approach is used, which requires hand or object mounted devices and poses an inconvenience for an operator or limits the scope of addressable objects. The work demonstrates that contact force may be estimated using a noninvasive contactless method with the help of vision system alone. We propose a two-stream approach for video processing, which utilizes both spatial information of each frame and dynamic information of frame change. In this work, image processing and machine learning techniques are used along with dense optical flow for frame change tracking and Kalman filter is used for stream fusion. Our studies show that the proposed method can successfully estimate contact grip force with RMSE < 10% of sensor range (RMSE $\approx 0.2$ N), the performances of each stream and overall method performance are reported. The proposed method has a wide range of applications, including robot teaching through demonstration, haptic force feedback, and validation of human- performed operations.

연구 동기 및 목표

• 도구가 장착된 센서나 마커 없이도 비침습적으로 손에 쥐는 힘을 추정할 수 있는 방법을 개발하는 것.
• 영상에서 힘 프로파일을 추출하여 비디오 기반 시범을 통한 로봇 교육을 가능하게 하는 것.
• 인간-로봇 상호작용 및 로봇 분해 작업에서 침습적 힘 센서와 마커 기반 시스템의 한계를 극복하는 것.
• 영상 데이터를 활용해 인간 작업에서 힘과 운동의 주석이 달린 데이터셋을 구축하는 것.
• 공간적 및 시간적 영상 스트림을 융합하여 힘 추정의 정확성과 내구성을 향상시키는 것.

제안 방법

• 이중 스트림 컨volution 신경망이 영상 프레임에서 공간적 및 시간적 정보를 처리한다.
• 공간 스트림은 이미지 처리 및 피부 세그멘테이션을 통해 개별 프레임에서 정적 특징을 추출한다.
• 시간 스트림은 밀도 있는 광학 흐름을 사용하여 운동 동적 특징과 프레임 간 변화를 캡처한다.
• 칼만 필터는 양 스트림의 출력을 융합하여 노이즈를 감소시키고 추정의 안정성을 향상시킨다.
• 신호 필터링 및 이미지 전처리는 조도 및 운동 변화에 대한 내구성을 향상시킨다.
• 훈련 및 평가를 위해 녹색 LED 트리거를 사용하여 FSR 센서로부터의 참값 힘 데이터를 영상과 동기화한다.

실험 결과

연구 질문

• RQ1 물리적 센서나 마커 없이도 영상만으로 손에 쥐는 힘을 정확하게 추정할 수 있는가?
• RQ2 공간적 및 시간적 영상 스트림 중 어느 것이 힘 추정 성능에서 더 우수한가?
• RQ3 칼만 필터를 통한 공간적 및 시간적 스트림 융합이 추정 정확성과 내구성 향상에 기여하는가?
• RQ4 이 방법은 조도 변화, 손 자세, 느린 힘 변화에 얼마나 민감한가?
• RQ5 이 방법은 다양한 개인과 물체 유형에 대해 얼마나 일반화 가능한가?

주요 결과

• 제안된 이중 스트림 방법은 약 0.2 N의 RMSE를 달성하여 센서 범위의 10% 미만을 차지한다.
• 공간 스트림은 힘 크기의 변화에 관계없이 일관된 성능를 보였지만, 시간 스트림은 느린 힘 변화에 취약했다.
• 칼만 필터를 통한 융합은 전체 성능 향상과 출력 크기 민감도 감소에 기여했다.
• 시간 스트림은 전체 모델과 거의 유사한 성능를 보였으며, 이는 운동 동적 특징 자체가 강력한 힘 관련 정보를 담고 있음을 시사한다.
• 조도 변화에 대해 강건성을 보였지만, 손 움직임과 피부 색소 반응 지연으로 인해 성능에 영향을 받았다.
• 이 방법은 스마트폰 및 유사 전자기기 분해 작업에서의 로봇 교육 및 힘 피드백에 실용적이며, 특히 효과적이다.