[논문 리뷰] Making the Invisible Visible: Action Recognition Through Walls and Occlusions

Tianhong Li, Lijie Fan외 3명|arXiv (Cornell University)|2019. 09. 20.

Human Pose and Action Recognition참고 문헌 47인용 수 12

한 줄 요약

이 논문은 인간의 동작을 벽과 가림막을 뛰어넘어 인식할 수 있도록 하는 딥러닝 모델인 RF-Action을 제안한다. 이 모델은 중간 표현으로 3D 인간 뼈대를 사용하여, 카메라의 시야가 차단되거나 조명이 어두운 상황에서도 동작 인식을 가능하게 한다. 공통된 뼈대 공간을 통해 RF 및 시각 기반 데이터셋을 활용함으로써, 시야 내 조건에서는 87.8 mAP, 벽을 관통하는 조건에서는 83.0 mAP의 성능을 달성하여 이전의 RF 기반 시스템을 능가하고, 비시야가 아닌 조건에서는 시각 기반 성능과도 맞먹는다.

ABSTRACT

Understanding people's actions and interactions typically depends on seeing them. Automating the process of action recognition from visual data has been the topic of much research in the computer vision community. But what if it is too dark, or if the person is occluded or behind a wall? In this paper, we introduce a neural network model that can detect human actions through walls and occlusions, and in poor lighting conditions. Our model takes radio frequency (RF) signals as input, generates 3D human skeletons as an intermediate representation, and recognizes actions and interactions of multiple people over time. By translating the input to an intermediate skeleton-based representation, our model can learn from both vision-based and RF-based datasets, and allow the two tasks to help each other. We show that our model achieves comparable accuracy to vision-based action recognition systems in visible scenarios, yet continues to work accurately when people are not visible, hence addressing scenarios that are beyond the limit of today's vision-based action recognition.

연구 동기 및 목표

• 카메라가 가림막, 어두운 조명 또는 벽으로 인해 기능하지 못하는 상황에서도 인간의 동작 인식을 가능하게 하기 위해.
• 3D 인간 뼈대를 공통 중간 표현으로 사용하여 시각 기반과 RF 기반 동작 인식 간 격차를 해소하기 위해.
• 신뢰도 인식 주의 및 다중 인물 동작 예측을 통합함으로써 RF 기반 동작 인식의 일반화 능력과 강건성을 향상시키기 위해.
• 시각 기반 뼈대 데이터셋을 활용한 다중 모odal 학습이 RF 데이터에 대한 성능 향상에 기여함을 보여주기 위해.

제안 방법

• 모델은 원시 RF 신호를 입력으로 받아 신경망을 통해 3D 인간 뼈대를 중간 표현으로 생성한다.
• 공간-시간 자기주의 메커니즘을 적용하여 뼈대 관절의 신뢰도 점수에 따라 중요도를 가중함으로써, 노이즈가 많은 RF 기반 뼈대에 대한 강건성을 향상시킨다.
• 다중 제안 모듈을 통해 동일한 장면에서 서로 다른 인물이 동시에 수행하는 다중 동작을 동시에 탐지할 수 있도록 한다.
• 모델은 종단 간(end-to-end)으로 학습되며, 동작 인식 손실가 뼈대 생성 네트워크를 통해 역전파되어 뼈대 정확도가 향상된다.
• 다중 모달 학습은 RF 데이터와 시각 기반 뼈대 데이터셋(PKU-MMD, NTU-RGB+D 등)을 결합하여, 개인 및 환경 간 일반화 능력을 향상시킨다.
• 뼈대 표현을 통해 뼈대 추정과 동작 인식을 동시에 최적화함으로써, 관절 위치 오차를 3.8 cm에서 3.4 cm로 감소시킨다.

실험 결과

연구 질문

• RQ1 사람이 벽 뒤나 가림막에 의해 가려져 있을 때에도, RF 신호를 사용해 시각 기반 시스템과 유사한 성능으로 인간의 동작을 인식할 수 있는가?
• RQ2 3D 인간 뼈대를 중간 표현으로 사용할 경우, RF 기반 동작 인식의 일반화 능력과 강건성이 향상되는가?
• RQ3 신뢰도 인식 주의 메커니즘이 노이즈가 많은 RF 기반 뼈대에서 발생하는 오차를 얼마나 효과적으로 줄이는가?
• RQ4 다중 제안 모듈은 다중 인물, 다중 동작이 동시에 발생하는 장면에서 성능 향상에 기여하는가?
• RQ5 시각 기반 뼈대 데이터셋을 활용한 다중 모달 학습이 RF 데이터에 대한 성능 향상에 기여하는가?

주요 결과

• RF-Action는 비가림 조건에서 RF-MMD 데이터셋에서 87.8 mAP를 달성하여 최신 시각 기반 시스템의 성능과 동일한 성능을 보였다.
• 벽을 관통하는 상황에서도 83.0 mAP의 뛰어난 성능 유지를 보이며, 가림막과 신호 차단에 대한 강건성을 입증했다.
• 주의 모듈을 포함시킴으로써 뼈대 추정 오차는 3.8 cm에서 3.4 cm로 감소하였고, 비주의 기반 모델 대비 RF-MMD에서 mAP가 7.7 포인트 향상되었다.
• 다중 제안 모듈을 통해 RF-MMD에서 mAP는 65.5에서 87.8로 상승하여, 다중 인물, 다중 동작 장면에서의 성능 향상이著명했다.
• PKU-MMD 데이터셋을 활용한 다중 모달 학습은 RF-MMD에서 mAP를 83.3에서 87.8로 향상시키며, 다중 개인 및 다중 시점 분할에서의 일반화 능력도 향상시켰다.
• 종단 간 학습은 별도로 뼈대 및 동작 네트워크를 학습하는 것보다 3D 뼈대 관절 오차를 0.4 cm 감소시켜 중간 표현의 품질 향상을 입증했다.