[논문 리뷰] Deep Canonically Correlated LSTMs

Neil Mallinar, Corbin Rosset|arXiv (Cornell University)|2018. 01. 16.

Time Series Analysis and Forecasting참고 문헌 15인용 수 6

한 줄 요약

이 논문은 변수 길이의 시계열 데이터에 대해 비선형적이고 시간에 따라 변화하는 표현을 학습하고, 정규화된 상관관계 분석을 통해 이를 공유되며 상관관계가 있는 저차원 공간으로 투영하는 Deep Canonically Correlated LSTMs(DCC-LSTM)를 제안한다. 이 방법은 DCCA보다 더 적은 파라미터를 사용하면서도 음소 분류 및 재구성에서 베이스라인 방법보다 뛰어난 성능을 보이며, L2 재구성 오차가 유의미하게 낮아졌다.

ABSTRACT

We examine Deep Canonically Correlated LSTMs as a way to learn nonlinear transformations of variable length sequences and embed them into a correlated, fixed dimensional space. We use LSTMs to transform multi-view time-series data non-linearly while learning temporal relationships within the data. We then perform correlation analysis on the outputs of these neural networks to find a correlated subspace through which we get our final representation via projection. This work follows from previous work done on Deep Canonical Correlation (DCCA), in which deep feed-forward neural networks were used to learn nonlinear transformations of data while maximizing correlation.

연구 동기 및 목표

• 기존의 DCCA와 같은 깊은 상관관계 모델이 고정된 길이의 입력을 요구하고 시계열 데이터의 시간적 구조를 손실한다는 한계를 해결하기 위해.
• LSTM이 다중 시각의 시계열 데이터에서 시간적 의존성을 효과적으로 학습하면서도 상관관계 기반의 표현 학습이 가능한지 탐색하기 위해.
• 시계열 데이터의 장기적인 시간적 관계를 유지하면서도 여러 시각 간에 공유되고 상관관계가 있는 표현을 학습하는 방법을 개발하기 위해.
• LSTM과 정규화된 상관관계 분석을 결합하는 것이 순차적 데이터에 대한 비지도 표현 학습에서 효과적인지 평가하기 위해.
• 실제 음성 데이터를 사용하여 분류 및 재구성 작업에서 DCC-LSTM을 DCCA, KCCA, SplitAE 및 베이스라인 모델과 비교하기 위해.

제안 방법

• 양방향 LSTMs를 사용하여 두 시각(예: 음성 및 운동적 특징)의 변수 길이 시계열을 고정된 차원의 잠재 표현으로 인코딩한다.
• LSTM 출력에 정규화된 상관관계 분석(cca)을 적용하여 두 시각 간의 상관관계를 최대화하는 공유된 상관관계가 있는 부분공간을 학습한다.
• CCA를 통해 LSTM로 인코딩된 표현을 저차원 공간으로 투영함으로써 시간 동적성을 유지하면서도 공동 표현 학습을 가능하게 한다.
• 라벨이 필요 없이 두 시각의 표현 간 상관관계를 최적화함으로써 비지도 방식으로 모델을 종합적으로 학습한다.
• 다른 CCA 모델과의 성능 비교를 위해 추론 실험에서 재구성 목표를 도입하여 DCCAE와의 성능을 비교하였으며, 베이스라인 CCA보다 더 높은 재구성 정확도를 확보하였다.
• t-SNE 시각화와 k-NN 분류를 통해 학습된 표현의 군집화 및 예측 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 LSTM은 다중 시각 표현 학습을 위한 변수 길이의 순차적 데이터에 대해 비선형적이고 시간에 따라 변화하는 표현을 효과적으로 학습할 수 있는가?
• RQ2 LSTM과 정규화된 상관관계 분석을 결합하면 시간 시계열 데이터에 대해 기존의 DCCA보다 더 나은 표현을 얻을 수 있는가?
• RQ3 분류 정확도와 재구성 품질 측면에서 DCC-LSTM은 KCCA, SplitAE 및 베이스라인 CCA와 같은 다른 비지도 방법보다 어떻게 비교되는가?
• RQ4 공유된 CCA 공간이 음소 수준의 군집화를 얼마나 잘 유지하고, 누락된 시각의 정확한 재구성을 얼마나 잘 지원하는가?
• RQ5 비지도 설정에서 상관관계 기반 학습이 LSTM에 성공적으로 적용될 수 있으며, 재구성 전용 목표함수보다 성능이 뛰어나게 되는가?

주요 결과

• DCC-LSTM는 음소 분류에서 테스트 정확도 84.58%를 달성하여, 베이스라인 CCA(83.20%)와 KCCA(77.60%)를 능가했으며, 최고 성능을 보인 SplitAE 방법과 동일한 성능을 기록했다.
• 20차원의 CCA 공간에서 음성 특징으로부터 운동적 특징을 재구성할 때, L2 재구성 오차는 베이스라인의 43,949에서 DCC-LSTM에서는 26,285로 감소했다.
• 샘플당 재구성 오차는 4.395에서 2.6286으로 감소하였고, 벡터당 성분별 오차는 0.21975에서 0.13143으로 감소하여 재현 정확도가 향상됨을 시사했다.
• 상위 20개의 상관관계가 높은 성분이 총 상관관계의 약 50%를 차지하여, 소수의 공유 차원이 매우 정보가 많음을 시사한다.
• DCC-LSTM은 각 시각에 400개의 유닛만으로도 27±3의 상관관계를 달성했고, DCCA는 훨씬 넓은 네트워크(1800 및 1200 유닛)를 사용했음에도 불구하고 35±5의 상관관계를 기록하여 더 높은 파라미터 효율성을 보였다.
• DCCA는 사전 처리된 휴지 제거 데이터에서 더 잘 작동하지만, DCC-LSTM은 휴지와 공백이 포함된 시계열도 효과적으로 처리할 수 있어 자연스러운 음성 구조에 대한 강건성을 입증했다.