[논문 리뷰] Signs in time: Encoding human motion as a temporal image

Joon Son Chung, Andrew Zisserman|arXiv (Cornell University)|2016. 08. 06.

Hand Gesture Recognition Systems참고 문헌 11인용 수 12

한 줄 요약

이 논문은 인간의 운동을 비디오 시퀀스에서 ConvNets에 적합한 압축된 시간적 이미지 표현으로 변환하는 키네토그램 인코딩을 제안한다. 이는 약한(클립 수준) 및 노이지 supervision을 사용하여 짧은 수어 제스처의 인식과 국소화를 가능하게 한다. 이 방법은 영국 수어에서 제스처 국소화 작업에서 최신 기술 수준의 성능을 달성하였으며, 강한 supervision을 사용한 방법과 맞먹는 성능을 내기까지 했고, 이는 최소한의 supervision에도 불구하고 성취된 것이다.

ABSTRACT

The goal of this work is to recognise and localise short temporal signals in image time series, where strong supervision is not available for training. To this end we propose an image encoding that concisely represents human motion in a video sequence in a form that is suitable for learning with a ConvNet. The encoding reduces the pose information from an image to a single column, dramatically diminishing the input requirements for the network, but retaining the essential information for recognition. The encoding is applied to the task of recognizing and localizing signed gestures in British Sign Language (BSL) videos. We demonstrate that using the proposed encoding, signs as short as 10 frames duration can be learnt from clips lasting hundreds of frames using only weak (clip level) supervision and with considerable label noise.

연구 동기 및 목표

• 강한 supervision이 제공되지 않는 긴 비디오 클립에서 짧은 시간 신호를 인식하고 국소화하는 것.
• ConvNet 처리에 적합한 학습 가능한 표현을 개발하여 인간 운동의 필수적인 시공간 역학을 유지하는 것.
• 높은 레이블 노이즈를 가진 약한 레이블 클립에서 끝에서 끝까지의 수어 제스처 학습을 가능하게 하는 것.
• ConvNet이 명시적 국소화 supervision 없이도 복잡한 시간적 시퀀스(예: 수어 제스처)를 국소화할 수 있음을 보여주는 것.

제안 방법

• 몸의 관절(손과 머리)의 운동이 열매형 이미지로 인코딩되며, 위치와 속도가 열기반 형식으로 시간에 따라 표현된다.
• 두 채널은 16비트 정밀도로 관절 위치를 저장하고, 한 채널은 8비트 정밀도로 시간적 속도(프레임 간 차이)를 인코딩한다.
• 키네토그램은 관절 좌표의 시계열을 2차원 이미지로 간주하고, 컨볼루션 필터의 경계 효과를 줄이기 위해 수직으로 반사시켜 구성된다.
• 배치 정규화를 적용한 수정된 AlexNet 아키텍처를 사용하며, 약한 supervision 데이터에서의 클래스 불균형을 처리하기 위해 가중 이진 교차 엔트로피 손실을 사용해 훈련한다.
• 데이터 증강에는 속도 변동, 무작위 관절 좌표 이동, 밝기 스케일링이 포함되어 안정성 향상에 기여한다.
• 고도로 노이즈가 많은 레이블 조건에서도 훈련을 안정화시키기 위해 느린 학습률(10⁻³에서 10⁻⁴)을 사용한다.

실험 결과

연구 질문

• RQ1 약한 supervision(클립 수준)만으로도 ConvNet이 긴 비디오 클립에서 짧고 복잡한 시간적 제스처를 국소화할 수 있는가?
• RQ2 어떻게 인간 운동을 ConvNet 기반 학습에 적합한 압축되고 특징적인 이미지 표현으로 인코딩할 수 있는가?
• RQ3 노이즈가 많고 약한 supervision으로 훈련된 모델이 수어 제스처 인식에서 강한 supervision 방법의 성능에 얼마나 가까이 도달할 수 있는가?
• RQ4 단일 통합 표현인 키네토그램이 제스처 인식을 위해 공간적 자세와 시간적 역학을 효과적으로 인코딩할 수 있는가?

주요 결과

• 외부 BBC 테스트 세트에서, 이 방법은 다중 클래스 제스처 국소화에 대해 평균 정밀도(mAP) 62.7%를 달성하여 이전 최고의 약한 supervision 방법(17.8% mAP)을 크게 앞서며 성능을 뛰어넘었다.
• 단어 'winter'에 대해 이 방법은 80.8% mAP를 기록했으며, [8]의 강한 supervision 방법(50%)과 [7]의 약한 supervision 방법(18%)을 모두 초월했다.
• 12초 클립에서 10 프레임(0.5초)으로 매우 짧은 제스처를 높은 정확도로 국소화했으며, 비전문가에게 거의 보이지 않는 경우에도 성능을 유지했다.
• 키네토그램 인코딩 덕분에, 명시적 국소화 supervision 없이도 네트워크가 손 움직임 방향과 조율 등의 시간 패턴을 학습할 수 있었다.
• 약한 레이블 클립만으로도 강한 supervision 모델과 경쟁 가능한 성능을 달성했으며, 특히 다중 모odal 설정에서 뛰어난 성능을 보였다.
• 훈련 데이터의 레이블 노이즈(서브타이틀의 20–60%가 실제로는 수어로 표현되지 않음)가 성능 저하를 초래하지 않았으며, 이는 높은 노이즈에 대한 강건성을 시사한다.