[논문 리뷰] STCN: STOCHASTIC TEMPORAL CONVOLUTIONAL NETWORKS

Emre Aksan|arXiv (Cornell University)|2019. 02. 18.

Advanced Neural Network Applications참고 문헌 33인용 수 16

한 줄 요약

이 논문은 계층적 스토하스틱 잠재 변수를 시간 컨볼루션 네트워크(TCNs)에 통합하여 계산 병렬성을 유지하면서도 모델링 능력을 향상시키는 새로운 아키텍처인 스토하스틱 타임리얼 컨volution 네트워크(STCNs)를 제안한다. 결정론적 TCN 블록과 스토하스틱 레이어를 분리하고, 다양한 수신장에 조건부인 다중 척도 잠재 계층을 사용함으로써, 손글씨 합성과 같은 시계열 모델링 작업에서 최신 기준(log-likelihood) 성능을 달성하며, ELBO 점수와 샘플 품질 모두에 있어 뚜렷한 향상이 이루어진다.

ABSTRACT

Convolutional architectures have recently been shown to be competitive on many sequence modelling tasks when compared to the de-facto standard of recurrent neural networks (RNNs), while providing computational and modeling advantages due to inherent parallelism. However, currently there remains a performance gap to more expressive stochastic RNN variants, especially those with several layers of dependent random variables. In this work, we propose stochastic temporal convolutional networks (STCNs), a novel architecture that combines the computational advantages of temporal convolutional networks (TCN) with the representational power and robustness of stochastic latent spaces. In particular, we propose a hierarchy of stochastic latent variables that captures temporal dependencies at different time-scales. The architecture is modular and flexible due to the decoupling of the deterministic and stochastic layers. We show that the proposed architecture achieves state of the art log-likelihoods across several tasks. Finally, the model is capable of predicting high-quality synthetic samples over a long-range temporal horizon in modeling of handwritten text.

연구 동기 및 목표

• 결정론적 TCNs와 더 표현력이 뛰어난 스토하스틱 RNN 변종 간의 성능 격차를 해소하기 위해.
• 스토하스틱성의 계층적 구조를 도입함으로써 표현력 향상을 이루되, TCNs의 계산 효율성과 병렬 처리 능력을 유지하기 위해.
• 결정론적 및 스토하스틱 구성 요소를 분리한 모듈러 프레임워크를 설계하여, 어떤 TCN 아키텍처와도의 탄력적 통합을 가능하게 하기 위해.
• 다양한 시계열 데이터셋에서 계층적 잠재 변수가 후행 분포 붕괴(posterior collapse)를 방지하고 모델링 능력을 향상시키는지 경험적으로 검증하기 위해.

제안 방법

• 각 레이어의 사전 분포가 이전 타임스텝의 TCN 표현에 조건부로 설정된 계층적 스토하스틱 잠재 변수의 구조를 도입함으로써, 다중 척도의 시간 의존성 모델링이 가능해진다.
• 결정론적 TCN 블록과 스토하스틱 레이어를 분리함으로써, 기본 TCN을 수정 없이 독립적으로 스택할 수 있게 되어 확장성과 병렬성을 유지한다.
• 각 잠재 레이어의 사전 분포가 이전 타임스텝의 TCN 표현에 의존하는 조건부 사전 메커니즘을 적용함으로써, 잠재 계층 내의 시간적 일관성을 보장한다.
• 두 가지 추론 구성 방식을 제안한다: 캐논리컬(각 레이어당 하나의 샘플)과 STCN-dense(모든 잠재 샘플을 예측 이전에 연결함), 이는 정보 흐름을 향상시키고 잠재 변수의 비활성화를 방지한다.
• 하한(lower bound, ELBO)을 사용한 변분 추론(variational inference)를 적용하여 모델을 최적화하며, 근사 후행 분포는 각 타임스텝의 TCN 특징에 조건부로 설정된다.
• TCN 기반 구조에서 확장 컨볼루션(dilated convolutions)을 활용하여 넓은 수신장을 확보함으로써, 재귀 없이도 장거리 의존성 모델링이 가능해진다.

실험 결과

연구 질문

• RQ1 계산 병렬성을 해치지 않으면서도, 계층적 스토하스틱 잠재 구조를 TCNs에 효과적으로 통합할 수 있는가?
• RQ2 결정론적 및 스토하스틱 구성 요소를 분리함으로써, 결합된 스토하스틱 TCN 변종 대비 모델링 능력과 ELBO 성능이 향상되는가?
• RQ3 다중 척도의 잠재 계층이 후행 분포 붕괴를 방지하고 표현 학습을 향상시키는가?
• RQ4 CNN의 덴스 연결(dense connections)에서 영감을 받은 STCN-dense 구성 방식이, 잠재 변수의 효율적 활용과 더 나은 생성 품질을 이끌어내는가?

주요 결과

• IAM-OnDB 데이터셋에서 STCN-dense는 71,386의 ELBO 점수를 기록하여, LadderRNN 및 SWaveNet을 포함한 모든 베이스라인 모델을 크게 앞서며 최고 성능을 기록했다.
• TIMIT 데이터셋에서 STCN-dense는 ELBO 점수 70,294를 기록했으며, 다음으로 우수한 성능을 보인 5x512-LadderRNN-dense 모델보다 1,600점 이상 높았다.
• STCN 모델은 평가된 모든 데이터셋인 IAM-OnDB, Deepwriting, TIMIT, Blizzard에서 최신 기준의 로그-가능도 성능을 달성했다.
• STCN이 생성한 합성 샘플은 높은 청각적 품질과 장거리 시간적 일관성을 보였으며, ELBO 점수의 정량적 향상과도 일치했다.
• STCN 프레임워크 내에서 TCN 블록을 스택드 LSTMs로 교체할 경우 성능 저하가 발생했으며, 이는 계층적 잠재 설계가 확장 컨볼루션의 시간적 인덕티브 바이어스와 가장 잘 맞는다는 것을 시사한다.
• STCN-dense 구성 방식은 상위 레이어에서의 잠재 변수 비활성화를 효과적으로 방지했으며, 일관된 성능 향상과 관측 변수 및 잠재 변수 간 상호정보량의 향상으로써 이를 뒷받침했다.