[논문 리뷰] Inference from Stationary Time Sequences via Learned Factor Graphs.

Nir Shlezinger, Nariman Farsad외 2명|arXiv (Cornell University)|2020. 06. 05.

Fractal and DNA sequence analysis참고 문헌 46인용 수 7

한 줄 요약

이 논문은 정적 시간 시계열에서 정확하고 일반화 가능한 추론을 가능하게 하는 모델에 종속되지 않는 프레임워크인 StaSPNet을 제안한다. 정적 인과 그래프의 특정 구성 요소를 학습하는 신경망을 통해 모델 기반 추론과 학습된 인과 그래프를 결합함으로써, 작은 데이터셋과 다양한 길이의 시퀀스에서도 높은 성능을 달성한다.

ABSTRACT

The design of methods for inference from time sequences has traditionally relied on statistical models that describe the relation between a latent desired sequence and the observed one. A broad family of model-based algorithms have been derived to carry out inference at controllable complexity using recursive computations over the factor graph representing the underlying distribution. An alternative model-agnostic approach utilizes machine learning (ML) methods. Here we propose a framework that combines model-based inference algorithms and data-driven ML tools for stationary time sequences. In the proposed approach, neural networks are developed to separately learn specific components of a factor graph describing the distribution of the time sequence, rather than the complete inference task. By exploiting stationary properties of this distribution, the resulting approach can be applied to sequences of varying temporal duration. Additionally, this approach facilitates the use of compact neural networks which can be trained with small training sets, or alternatively, can be used to improve upon existing deep inference systems. We present an inference algorithm based on learned stationary factor graphs, referred to as StaSPNet, which learns to implement the sum product scheme from labeled data, and can be applied to sequences of different lengths. Our experimental results demonstrate the ability of the proposed StaSPNet to learn to carry out accurate inference from small training sets for sleep stage detection using the Sleep-EDF dataset, as well as for symbol detection in digital communications with unknown channels.

연구 동기 및 목표

• 정적 시간 시계열을 위한 모델 기반 추론과 데이터 기반 학습을 통합하는 하이브리드 접근법을 개발한다.
• 기본 분포의 정적성 특성을 활용하여 다양한 시간 길이를 가진 시퀀스에 대한 추론을 가능하게 한다.
• 종합적인 추론이 아닌 개별 인과 그래프 구성 요소를 학습하여 딥 추론 모델의 복잡성과 데이터 요구량을 줄인다.
• 수면 단계 분류 및 알 수 없는 채널에서의 심볼 검출과 같은 저데이터 환경에서의 성능 향상을 도모한다.
• 정적 인과 그래프 분해를 통해 다양한 시퀀스 길이에 일반화되는 컴act한 신경망 아키텍처를 설계한다.

제안 방법

• 정적 시간 시계열의 인과 그래프를 학습 가능한 구성 요소로 분해한다. 예를 들어 국소 인과 요소와 메시지 전달 규칙 등을 포함한다.
• 신경망을 사용해 인과 그래프의 특정 부분, 즉 조건부 확률 분포 및 메시지 계산 함수를 학습한다.
• 정적성을 활용하여 학습된 구성 요소가 시퀀스 길이에 영향을 받지 않도록 하여 다양한 길이의 시퀀스에 대한 일반화를 보장한다.
• 라벨이 붙은 데이터로 훈련된 신경망을 통해 메시지를 계산하는 학습된 합-곱 알고리즘을 사용해 추론을 수행한다.
• 아키텍처는 컴팩트하게 설계되어 파rameter 수를 줄이고 소규모 데이터셋으로의 훈련을 가능하게 한다.
• 전이 학습을 지원하며, 종합적인 추론 시스템의 구성 요소를 대체하거나 개선함으로써 기존 딥 추론 시스템을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 학습된 인과 그래프 프레임워크는 최소한의 라벨 데이터로 정적 시간 시계열에서 정확한 추론을 달성할 수 있는가?
• RQ2 제안된 방법은 다양한 길이의 시퀀스에 대해 성능를 유지하면서 어떻게 일반화되는가?
• RQ3 저데이터 환경에서 종합적인 딥 러닝 대비 개별 인과 그래프 구성 요소를 학습하는 것이 얼마나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 이 프레임워크는 수면 단계 검출 및 디지털 심볼 검출과 같은 실세계 과제에 효과적으로 적용될 수 있는가?
• RQ5 정적성 가정은 시간 시계열 추론에서 컴팩트하고 일반화 가능한 신경망 구성 요소를 어떻게 가능하게 하는가?

주요 결과

• StaSPNet은 소규모 훈련 데이터셋을 사용하여 Sleep-EDF 데이터셋에서 정확한 추론을 달성하여 저데이터 환경에서 뛰어난 일반화 능력을 입증한다.
• 기본 분포의 정적성을 활용함으로써 시퀀스 길이에 관계없이 일반화 성능이 유지된다.
• 프레임워크는 종합적인 딥 러닝 기반 보다 파rameter 수와 데이터 요구량이 적은 컴팩트한 신경망을 가능하게 한다.
• 특히 제한된 훈련 데이터로 알 수 없는 채널에서의 심볼 검출 과제에서 기존의 딥 추론 시스템을 능가한다.
• 개별 인과 그래프 구성 요소를 학습하는 방식은 블랙박스 종합 모델 대비 더 높은 해석 가능성과 이식 가능성을 제공한다.
• 이 방법은 효과적인 미세조정과 기존의 모델 기반 추론 파이프라인과의 통합을 가능하게 한다.