[논문 리뷰] Stochastic Sequential Neural Networks with Structured Inference

Hao Liu, Haoli Bai외 2명|arXiv (Cornell University)|2017. 05. 24.

Music and Audio Processing참고 문헌 40인용 수 3

한 줄 요약

이 논문은 고차원 순차 데이터에서 장기적 의존성과 이산적 분할/라벨링을 모델링하기 위해 순환 신경망과 구조적 추론을 결합한 확률적 순차 신경망(SSNN)을 제안한다. Gumbel-Softmax 재구성과 이중 방향 추론을 통해 이산 잠재 변수의 효율적이고 미분 가능한 학습이 가능해지며, 비지도 분할, 라벨링 및 다중 객체 인식 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised structure learning in high-dimensional time series data has attracted a lot of research interests. For example, segmenting and labelling high dimensional time series can be helpful in behavior understanding and medical diagnosis. Recent advances in generative sequential modeling have suggested to combine recurrent neural networks with state space models (e.g., Hidden Markov Models). This combination can model not only the long term dependency in sequential data, but also the uncertainty included in the hidden states. Inheriting these advantages of stochastic neural sequential models, we propose a structured and stochastic sequential neural network, which models both the long-term dependencies via recurrent neural networks and the uncertainty in the segmentation and labels via discrete random variables. For accurate and efficient inference, we present a bi-directional inference network by reparamterizing the categorical segmentation and labels with the recent proposed Gumbel-Softmax approximation and resort to the Stochastic Gradient Variational Bayes. We evaluate the proposed model in a number of tasks, including speech modeling, automatic segmentation and labeling in behavior understanding, and sequential multi-objects recognition. Experimental results have demonstrated that our proposed model can achieve significant improvement over the state-of-the-art methods.

연구 동기 및 목표

• 생리적 신호나 행동 시퀀스와 같은 고차원 순차 데이터에서 분할 경계와 라벨과 같은 구조적 요소를 비지도로 학습하는 데 도전하는 데 목적이 있다.
• 순차 데이터에서 장기적 의존성과 이산적이며 해석 가능한 잠재 구조(분할 및 라벨)를 효과적으로 모델링하는 데 목적이 있다.
• 이산 잠재 변수를 가진 딥 네ural 웹의 학습 어려움을 해결하기 위해 구조적이고 이중 방향 추론 기반의 메커니즘을 도입하는 데 목적이 있다.
• Gumbel-Softmax 재구성 기반으로 이산 잠재 변수를 포함한 순차 모델의 추론 효율성과 정확도를 향상시키는 데 목적이 있다.
• 음성 모델링, 행동 이해, 의료 진단 및 다중 객체 인식과 같은 다양한 작업에서 제안된 모델의 효과성을 입증하는 데 목적이 있다.

제안 방법

• 모델는 은닉 반마르코프 모델(HSMMs)을 영감으로 삼은 생성 네트워크를 사용하며, RNN에서 유도된 연속적인 은닉 상태와 두 개의 이산 시퀀스(분할 변수 및 세그먼트 라벨)를 포함한다.
• 이산 잠재 변수(분할 및 라벨)는 이들의 이산적 성격에도 불구하고 미분 가능 학습을 가능하게 하기 위해 Gumbel-Softmax 기법을 사용해 재구성된다.
• 앞서와 뒤로의 시간적 맥락을 모두 활용하기 위해 양방향 추론 네트워크를 설계하여 이산 잠재 변수의 사후 분포 근사치를 향상시킨다.
• 스토캐스틱 그래디언트 변분 베이즈(SGVB)가 사용되어 엔드 투 엔드 학습이 이루어지며, 재구성된 기울기를 사용해 변분 하한(ELBO)을 최적화한다.
• 모델는 세그먼트 지속 시간과 라벨을 함께 학습하며, 증강된 은닉 상태를 통해 과거와 미래의 맥락을 기반으로 추론이 이뤄진다.
• 고정된 최대 시퀀스 길이와 지속 시간의 잘라내기를 통해 계산적 팽창을 방지하면서 미니배치 SGD를 사용해 엔드 투 엔드로 아키텍처를 학습한다.

실험 결과

연구 질문

• RQ1 비지도 환경에서 고차원 순차 데이터의 이산적 분할 경계와 라벨을 깊이 있는 신경망이 효과적으로 학습할 수 있는가?
• RQ2 딥 러닝 프레임워크 내에서 이산 잠재 변수(분할 및 라벨)를 어떻게 효율적으로 최적화할 수 있는가?
• RQ3 추론 네트워크에 이중 방향 시간 맥락을 통합하면 순차 데이터의 구조적 추론 정확도가 향상되는가?
• RQ4 제안된 모델이 다양한 벤치마크에서 기존 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ5 이중 방향성과 순차적 의존성 외에도 공간적 의존성까지 포함하는 복잡한 작업, 예를 들어 이미지 내 다중 객체 인식에 대해 모델의 일반화 능력은 얼마나 뛰어난가?

주요 결과

• 모든 평가된 데이터셋에서 SSNN이 가장 낮은 평균 오차율을 기록했으며, Drosophila 데이터셋에서 14.70 ± 5.45%와 PhysioNet 데이터셋에서 29.29 ± 5.34%를 기록하여 subHSMM, HDP-HSMM, CRF-AE 및 rHSMM-dp를 모두 앞섰다.
• multi-MNIST 데이터셋에서 SSNN은 이미지 내 세 개의 숫자의 개수와 위치를 성공적으로 식별했으며, DRAW는 종종 데이터 모드를 놓치는 경향이 있어 더 나은 모드 커버리지와 분리 능력을 보였다.
• Gumbel-Softmax 재구성과 함께 이중 방향 추론 네트워크는 이산 잠재 변수의 정확하고 안정적인 학습을 가능하게 하여 일반적으로 발생하는 이산 변분 추론의 기울기 문제를 피했다.
• 모델는 지도 학습이나 커리큘럼 학습 없이도 원시 시퀀스로부터 의미 있는 분할과 라벨을 학습함으로써 비지도 환경에서 뛰어난 일반화 능력을 보였다.
• 음성 및 행동 모델링 작업에서 SSNN은 분할 및 라벨링 정확도에서 뚜렷한 향상을 보였으며, 실제 순차 데이터 분석에 효과적임을 확인했다.
• 제거 실험(ablation study)는 이중 방향 추론과 이산 변수의 구조적 모델링이 모델 성능의 핵심 요소임을 확인했으며, 제거 시 성능 저하가 뚜렷하게 나타났다.