[논문 리뷰] Multi-Modality Fusion based on Consensus-Voting and 3D Convolution for Isolated Gesture Recognition

Jiali Duan, Shuai Zhou외 3명|arXiv (Cornell University)|2016. 11. 21.

Hand Gesture Recognition Systems참고 문헌 36인용 수 33

한 줄 요약

이 논문은 RGB 및 깊이 영상 데이터를 사용한 고립된 제스처 인식을 위한 다중 모odal 융합 프레임워크인 2SCVN-3DDSN을 제안한다. 이는 이중 스트림 네트워크(2SCVN)에서 공감 투표를 통해 장기적 시간 동적 특성을 모델링하고, 3D 합성곱 네트워크(3DDSN)를 통해 깊이 및 주목도 스트림을 융합함으로써 정확도를 크게 향상시킨다. ChaLearn IsoGD에서 67.19%의 정확도를 기록하며 이전 최고 성능(SOTA)보다 10.29% 높고, RGBD-HuDaAct에서는 96.74%의 정확도를 달성한다.

ABSTRACT

Recently, the popularity of depth-sensors such as Kinect has made depth videos easily available while its advantages have not been fully exploited. This paper investigates, for gesture recognition, to explore the spatial and temporal information complementarily embedded in RGB and depth sequences. We propose a convolutional twostream consensus voting network (2SCVN) which explicitly models both the short-term and long-term structure of the RGB sequences. To alleviate distractions from background, a 3d depth-saliency ConvNet stream (3DDSN) is aggregated in parallel to identify subtle motion characteristics. These two components in an unified framework significantly improve the recognition accuracy. On the challenging Chalearn IsoGD benchmark, our proposed method outperforms the first place on the leader-board by a large margin (10.29%) while also achieving the best result on RGBD-HuDaAct dataset (96.74%). Both quantitative experiments and qualitative analysis shows the effectiveness of our proposed framework and codes will be released to facilitate future research.

연구 동기 및 목표

• 계층 간 및 계층 내 변동성에 기인한 고립된 제스처 인식에서의 추정 분산을 줄이기 위해.
• RGB, 광학 흐름, 깊이, 주목도와 같은 다수의 모odal을 효과적으로 융합하여 개선된 인식 성능를 달성할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 공감 투표를 통해 제스처 시퀀스의 단기 및 장기적 시간적 구조를 모델링하기 위해.
• 깊이 및 주목도 모달을 활용하여 배경 간섭을 줄이고 분류 성능 향상을 위한 특징 표현을 강화하기 위해.
• ChaLearn IsoGD 및 RGBD-HuDaAct와 같은 도전적인 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 2SCVN 네트워크는 영상의 서로 다른 세그먼트에서 프레임을 샘플링하고, 이를 바탕으로 광학 흐름 필드를 스택하여 장기적 시간적 동적 특성을 모델링하는 데 공감 투표를 활용한다.
• 공간 스트림은 RGB 프레임을 처리하고, 시간 스트림은 스택된 광학 흐름 필드를 처리하며, 예측 결과는 공감 투표를 통해 집계되어 분산을 감소시킨다.
• 3DDSN 네트워크는 3D 합성곱 레이어를 사용해 깊이 및 주목도 맵을 처리하여 시공간적 특징을 추출함으로써 분류 성능를 향상시킨다.
• 2SCVN 및 3DDSN 스트림은 특징 공간에서 조기에 융합되어 RGB, 흐름, 깊이, 주목도 모달을 통합하여 최종 분류를 수행한다.
• 모델는 3D 합성곱을 통해 공간-시간 일관성을 유지하고 다양한 모달 간의 특징 표현을 향상시킨다.
• 모델는 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 추론은 두 스트림의 예측 결과를 후기 융합하여 수행된다.

실험 결과

연구 질문

• RQ1 다양한 샘플링 세그먼트에서의 공감 투표가 고립된 제스처 인식에서 추정 분산을 줄이는 데 효과적인가?
• RQ2 3D 합성곱이 깊이 및 주목도 특징을 융합하여 제스처 인식 성능를 향상시키는 데 얼마나 효과적인가?
• RQ3 RGB, 광학 흐름, 깊이, 주목도 모달을 조합함으로써 단일 또는 이중 모달 접근 방식보다 성능 향상이 두드러지는가?
• RQ4 제안된 프레임워크는 제스처 인식을 넘어 다른 비디오 인식 작업으로 일반화 가능한가?
• RQ5 각 모달(RGB, 흐름, 깊이, 주목도)이 최종 인식 정확도에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 2SCVN-3DDSN 프레임워크는 ChaLearn IsoGD 벤치마크에서 67.19%의 정확도를 기록하며, 이전 SOTA보다 10.29%포인트 높다.
• RGBD-HuDaAct 데이터셋에서는 96.74%의 정확도를 달성하여 새로운 최고 성능 기록을 수립한다.
• 2SCVN-Flow 스트림만으로도 58.36%의 정확도를 기록하여 광학 흐름을 통한 운동 모델링의 중요성을 입증한다.
• 3DDSN-Depth 및 3DDSN-Saliency 스트림은 각각 54.95% 및 43.35%의 정확도를 기록하여 깊이 및 주목도가 강력한 보완 신호를 제공함을 보여준다.
• 2SCVN 및 3DDSN 스트림을 융합하면 2SCVN 단독 대비 6%의 성능 향상이 이루어져 다중 모달 융합의 효과성을 확인한다.
• 정성적 결과에서는 미세한 계층 간 차이가 있는 도전적인 케이스에서도 높은 인식 정확도를 보이며, 오직 몇 가지 오분류 사례만 관찰되었다.