[논문 리뷰] Sequence Modeling using Gated Recurrent Neural Networks

Mohammad Pezeshki|arXiv (Cornell University)|2015. 01. 01.

Human Pose and Action Recognition참고 문헌 10인용 수 9

한 줄 요약

이 논문은 인간 운동 시퀀스를 모델링하고 생성하기 위해 순환 신경망(RNN)에 게이트형 순환 단위(GRUs)를 사용하는 것을 제안하며, 장기적 의존성을 포착하는 데 있어 탄젠트 활성화를 사용하는 기존 RNN보다 뛰어난 성능을 보여준다. GRU 모델은 운동 데이터를 기억하고 재구성하는 데 성공적으로 학습하여 실제 운동 캡처 데이터와 구분되지 않는 현실적인 걷기 시퀀스를 생성한다.

ABSTRACT

In this paper, we have used Recurrent Neural Networks to capture and model human motion data and generate motions by prediction of the next immediate data point at each time-step. Our RNN is armed with recently proposed Gated Recurrent Units which has shown promising results in some sequence modeling problems such as Machine Translation and Speech Synthesis. We demonstrate that this model is able to capture long-term dependencies in data and generate realistic motions.

연구 동기 및 목표

• 시퀀스적 인간 운동 데이터에서 장기적 시간 의존성을 모델링하는 데 도전하는 것.
• 기존 탄젠트 기반 RNN과 비교하여 Gated Recurrent Units(GRUs)가 RNN 학습 및 성능 향상에 얼마나 효과적인지 평가하는 것.
• 학습된 GRU 기반 생성 모델을 사용하여 현실적인 인간 운동 시퀀스를 생성하는 것.
• 모델이 제한된 컨텍스트에서 복잡한 운동 패턴을 기억하고 재구성하는 능력을 검증하는 것.

제안 방법

• 모델은 MIT 운동 캡처 데이터셋의 운동 시퀀스를 처리하기 위해 120개의 은닉 유닛과 49개의 입력 유닛을 갖는 단일 레이어 GRU를 사용한다.
• GRU는 업데이트 게이트와 리셋 게이트를 사용하여 정보 흐름을 제어한다: $ h_t = (1 - z_t) \circ h_{t-1} + z_t \circ \widetilde{h}_t $, 여기서 $ \widetilde{h}_t = \tanh(W_{xh}x_t + W_{hh}(r_t \circ h_{t-1})) $이다.
• 업데이트 게이트 $ z_t = \sigma(W_{xz}x_t + W_{hz}h_{t-1}) $와 리셋 게이트 $ r_t = \sigma(W_{xr}x_t + W_{hr}h_{t-1}) $는 기억 유지와 입력 조절을 담당한다.
• 모델은 운동 데이터에 대해 판별적으로 학습된 후, 생성 모드로 사용되며, 각 단계에서의 출력이 다음 단계의 입력으로 피드백된다.
• 데이터 전처리에는 평균이 0이고 분산이 1인 정규화 및 전역 운동 제거가 포함되어 각 프레임에서 49개의 신체 관절 특징을 추출한다.
• 운동 생성은 50개의 실제 프레임을 초기 컨텍스트로 제공한 후, 순차적 예측 방식으로 이후 프레임을 생성한다.

실험 결과

연구 질문

• RQ1 표준 RNN에 탄젠트 활성화를 사용할 때 실패하는 인간 운동 시퀀스에서 GRU가 장기적 의존성을 효과적으로 포착할 수 있는가?
• RQ2 GRU 기반 RNN은 학습된 패턴에서 현실적인 걷기 운동을 얼마나 잘 재구성하고 생성할 수 있는가?
• RQ3 GRU의 게이트 메커니즘이 순차적 모델링 과제에서 기울기 소실 문제를 완화하는가?
• RQ4 학습된 GRU 모델이 짧은 초기 컨텍스트에서 출발하여 일관된 장기 시퀀스를 얼마나 잘 일반화할 수 있는가?

주요 결과

• GRU 모델은 기존 탄젠트 활성화를 사용하는 단순 RNN보다 기억 작업에서 뚜렷이 뛰어난 성능을 보였으며, 5단계 이전의 입력 합을 정확히 예측했다.
• 운동 생성 과제에서 GRU로 생성된 시퀀스는 인간 관찰자에 의해 실제 운동 캡처 데이터와 구분되지 않았다.
• 모델는 50개의 실제 운동 프레임을 초기화로 제공받은 후, 임의의 길이의 시퀀스를 성공적으로 생성하였으며, 시간적 일관성을 유지했다.
• 그림 6에 나타낸 바와 같이, 생성된 시퀀스의 평균 특징 궤적은 실제 데이터와 매우 유사하여 고정밀 재구성 능력을 보였다.
• GRU 모델은 장기적 의존성을 효과적으로 처리하여 장기간의 시퀀스 동안 관련 정보를 잘 유지하는 데 성공했다.