[논문 리뷰] Tensorial Recurrent Neural Networks for Longitudinal Data Analysis

Mingyuan Bai, Boyan Zhang외 1명|arXiv (Cornell University)|2017. 08. 01.

Neural Networks and Applications참고 문헌 4인용 수 9

한 줄 요약

이 논문은 텐서 분해를 이용해 다차원 텐서 시계열 데이터를 직접 처리하는 새로운 아키텍처인 텐서리얼 순환 신경망(TRNN)을 제안한다. 이는 공간적 구조를 유지하고 표현 학습을 향상시킨다. 제안된 방법은 ICEWS 데이터셋에서 얻은 관계형 데이터에서 낮은 테스트 오차(0.0081–0.0082)를 달성하며, 학습 전반에 걸쳐 텐서 구조를 유지함으로써 벡터화된 RNN보다 뛰어난 성능을 보인다.

ABSTRACT

Traditional Recurrent Neural Networks assume vectorized data as inputs. However many data from modern science and technology come in certain structures such as tensorial time series data. To apply the recurrent neural networks for this type of data, a vectorisation process is necessary, while such a vectorisation leads to the loss of the precise information of the spatial or longitudinal dimensions. In addition, such a vectorized data is not an optimum solution for learning the representation of the longitudinal data. In this paper, we propose a new variant of tensorial neural networks which directly take tensorial time series data as inputs. We call this new variant as Tensorial Recurrent Neural Network (TRNN). The proposed TRNN is based on tensor Tucker decomposition.

연구 동기 및 목표

• 기존 RNN이 텐서리얼 시계열 데이터를 벡터화해야 하는 한계를 해결하기 위해, 공간적 및 구조적 정보를 손실 없이 처리할 수 있도록 하기 위해.
• 반복 아키텍처에서 다차원 텐서 데이터를 본질적으로 처리할 수 있는 딥 러닝 모델을 개발하기 위해.
• 시계열 모델링 및 표현 학습 과정에서 종단적 데이터의 본질적 텐서 구조를 유지하기 위해.
• LSTM 및 GRU 아키텍처를 텐서리얼 형태로 확장하기 위해 텐서 분해를 활용해 파라미터 효율성과 구조적 정확성을 확보하기 위해.
• 복잡한 다원적 구조를 가진 실제 관계형 시계열 데이터에서 제안된 모델의 실험적 검증을 수행하기 위해.

제안 방법

• 벡터화된 입력 대신 D차원 텐서 입력을 직접 수용하는 텐서리얼 RNN(TRNN)을 제안한다.
• 반복 가중치 텐서를 매개변수화하기 위해 텐서 분해를 활용하여 파라미터 수를 줄이고 구조적 정보를 유지한다.
• 각 모드에 따라 텐서-텐서 곱셈을 사용해 LSTM 및 GRU 유닛을 텐서리얼 형태(tLSTM 및 tGRU)로 변형한다.
• 텐서 도함수 및 모드별 기울기를 활용해 tLSTM 및 tGRU에 대한 역전파 알고리즘을 유도한다.
• 과적합을 방지하고 일반화 성능을 향상시키기 위해 가중치 행렬에 프로베니우스 노름 정규화를 적용한다.
• ICEWS 데이터셋에서 유래한 3차원 관계형 텐서를 대상으로 다대일 및 다대다 시계열 예측 작업에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 벡터화 없이 다차원 텐서리얼 시계열 데이터를 직접 처리할 수 있는 순환 신경망을 설계할 수 있는가?
• RQ2 시계열 모델링 과정에서 텐서 구조를 유지할 경우 관계형 데이터에서 예측 성능이 향상되는가?
• RQ3 텐서 분해를 활용해 고차원 텐서 입력을 처리할 수 있도록 LSTM 및 GRU 아키텍처를 어떻게 일반화할 수 있는가?
• RQ4 텐서 분해를 통한 구조적 파라미터 공유가 모델 효율성 및 일반화에 어떤 영향을 미치는가?
• RQ5 실제 종단적 데이터에서 표준 RNN과 비교해 텐서리얼 RNN은 테스트 오차 및 수렴 특성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 TRNN 모델은 벡터화로 인한 구조 왜곡을 피하면서 3차원 텐서리얼 시계열 데이터를 직접 처리하는 데 성공했다.
• tLSTM 및 tGRU 모델은 ICEWS 관계형 데이터에서 각각 다대일 시나리오에서 0.0081, 다대다 시나리오에서 0.0082의 테스트 오차를 기록했다.
• 텐서 분해의 활용으로 파라미터 효율적인 모델링이 가능했고, 입력 텐서의 공간적 구조도 유지되었다.
• tLSTM 및 tGRU에 대한 역전파 알고리즘이 성공적으로 유도되어 텐서리얼 시퀀스에서 엔드 투 엔드 학습이 가능해졌다.
• 1000 에포크 동안 안정적인 수렴을 보이며, 구조화된 종단적 데이터에서 강력한 학습 역학을 보였다.
• 결과적으로 텐서 구조를 유지할 경우, 벡터화된 RNN에 비해 더 나은 표현 학습과 예측 성능을 달성할 수 있음을 시사한다.