[논문 리뷰] Manipulation-skill Assessment from Videos with Spatial Attention Network

Zhenqiang Li, Yifei Huang외 2명|arXiv (Cornell University)|2019. 01. 09.

Human Pose and Action Recognition참고 문헌 52인용 수 4

한 줄 요약

이 논문은 순간적인 시각적 특징, 고수준의 작업 진행 상황, 시간적 주의 전이를 동시에 모델링함으로써 영상 기반의 만능 스킬 평가를 향상시키는 새로운 RNN 기반의 공간 주의망을 제안한다. 이 방법은 작업에 중요한 영역에 집중하는 적응형 주의를 학습함으로써 다섯 개의 데이터셋(새로운 유아 잡기 데이터셋 포함)에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Recent advances in computer vision have made it possible to automatically assess from videos the manipulation skills of humans in performing a task, which breeds many important applications in domains such as health rehabilitation and manufacturing. Previous methods of video-based skill assessment did not consider the attention mechanism humans use in assessing videos, limiting their performance as only a small part of video regions is informative for skill assessment. Our motivation here is to estimate attention in videos that helps to focus on critically important video regions for better skill assessment. In particular, we propose a novel RNN-based spatial attention model that considers accumulated attention state from previous frames as well as high-level knowledge about the progress of an undergoing task. We evaluate our approach on a newly collected dataset of infant grasping task and four existing datasets of hand manipulation tasks. Experiment results demonstrate that state-of-the-art performance can be achieved by considering attention in automatic skill assessment.

연구 동기 및 목표

• 사람과 유사한 주의 메커니즘을 통합하여 작업에 중요한 영역에 집중함으로써 영상 기반의 자동 스킬 평가를 향상시키기 위해.
• 이전 방법들이 스킬 평가에서 시간적 주의 전이와 작업 수준의 맥락을 모델링하지 못하는 한계를 해결하기 위해.
• 시각적 특징, 작업 진행 지식, 누적 주의 상태를 통합하는 통합 프레임워크를 개발하여 성능을 향상시키기 위해.
• 스킬 평가 연구를 지원하기 위해 유아 물체 잡기 작업의 새로운 데이터셋을 수집하고 애너테이션을 추가하기 위해.
• 공개된 데이터셋과 새로 수집한 데이터셋을 활용한 광범위한 실험을 통해 주의 모델링의 효과성을 검증하기 위해.

제안 방법

• 공간 주의 전이를 모델링하는 RNN(RNN_att)과 작업 진행 상황을 추적하는 RNN(RNN_task)을 갖춘 이중 RNN 아키텍처를 제안한다.
• 각 프레임의 시각적 특징(x̄_t)을 RNN_task의 은닉 상태와 통합하여 RNN_att에서의 주의 추정을 안내한다.
• 인간이 애너테이션한 영상 쌍을 활용한 쌍별 딥 랭킹을 사용하여 모델을 훈련함으로써 데이터 증강과 약한 지도 학습을 가능하게 한다.
• 저수준의 시각적 신호, 고수준의 작업 맥락, 이전 주의 상태를 조합하여 유의미한 영역에 동적으로 집중하는 공간 주의 모듈을 활용한다.
• 스킬 수행 중에 관련 있는 신체 부위나 물체 간에 주의 지도가 적응적으로 이동하도록 엔드 투 엔드 학습을 가능하게 한다.
• RNN_att를 통해 이전 프레임를 기반으로 한 시간적 상관관계를 모델링함으로써 주의의 전이 패턴을 반영한다.

Figure 1: The illustration of our skill assessment framework. At every time step, the network takes an RGB image and the corresponding stacked optical flow images as input and firstly represents them as deep appearance-motion features. The spatial attention sub-module is then used to generate an att

실험 결과

연구 질문

• RQ1 공간 주의 전이를 모델링하면 영상 기반의 만능 스킬 작업 평가 성능이 향상되는가?
• RQ2 고수준의 작업 진행 상황 지식을 통합하면 주의 추정과 스킬 스코어링에 어떤 영향을 미치는가?
• RQ3 시각적 특징, 작업 맥락, 이전 주의 상태를 결합하면 더 정확하고 해석 가능한 주의 지도를 얻을 수 있는가?
• RQ4 제안된 방법은 유아 운동 발달과 손으로 만드는 작업을 포함한 다양한 만능 스킬 작업에 일반화 가능한가?
• RQ5 각 구성 요소(시각 입력, 작업 상태, 주의 메모리)가 전체 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 방법은 새로 수집한 유아 잡기 데이터셋에서 최신 기술 수준의 순위 정확도 86.1%를 달성하여 이전 방법들을 능가한다.
• 초밥 젓가락과 수술 데이터셋에서 각각 85.5%와 85.3%의 순위 정확도를 기록하여 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, 공간 주의 메커니즘을 제거하면 유아 잡기 데이터셋에서 성능이 82.1%로 떨어지며, 이는 그 필요성을 입증한다.
• 시각, 작업, 주의 메모리의 모든 구성 요소를 포함한 모델은 시각 또는 작업 특징만 사용하는 베이스라인보다 성능이 뛰어나, 세 가지 입력 모두의 중요성을 보여준다.
• 시각화 결과, 모델이 핵심 동작(예: 공을 떨어뜨리는 것 또는 큐브를 바꾸는 것) 동안 손과 물체 사이를 주의 지도를 이동시키며 의미 있는, 작업에 관련된 주의 지도를 학습하는 것으로 나타났다.
• SCA-CNN와 CBAM과 비교해, 제안된 모델은 작업에 관련이 없는 주목할 만한 영역에 집중하는 것을 방지하여 인간 평가와 더 잘 일치하는 주의 집중을 보였다.

Figure 2: The details of the spatial attention sub-module. To estimate the task-related significance for the regional vectors at different locations, the module incorporates not only the low-level visual information $\bar{x}_{t}$ globally extracted from the deep feature maps, but also the high-level