[논문 리뷰] Biosignal Generation and Latent Variable Analysis with Recurrent Generative Adversarial Networks

Shota Harada, Hideaki Hayashi외 1명|arXiv (Cornell University)|2019. 05. 17.

Time Series Analysis and Forecasting참고 문헌 34인용 수 4

한 줄 요약

이 논문은 클래스 레이블을 조건 입력으로 사용하여 시간 시리즈 생체신호(예: ECG, EEG)의 제어 가능하고 고해상도 합성을 가능하게 하는 조건부 순환 GAN 프레임워크를 제안한다. 잠재 변수에 캐논칼 상관분석(CCA)을 적용함으로써 입력-출력 관계를 드러내고 이용함으로써, 진폭 및 주파수와 같은 생성된 신호 특성에 대한 정밀한 제어가 가능해지며, 도메인 전문 지식이 필요로 하지 않음에도 불구하고 이전의 GAN 기반 접근법보다 데이터 품질과 제어 가능성 면에서 뛰어나다.

ABSTRACT

The effectiveness of biosignal generation and data augmentation with biosignal generative models based on generative adversarial networks (GANs), which are a type of deep learning technique, was demonstrated in our previous paper. GAN-based generative models only learn the projection between a random distribution as input data and the distribution of training data.Therefore, the relationship between input and generated data is unclear, and the characteristics of the data generated from this model cannot be controlled. This study proposes a method for generating time-series data based on GANs and explores their ability to generate biosignals with certain classes and characteristics. Moreover, in the proposed method, latent variables are analyzed using canonical correlation analysis (CCA) to represent the relationship between input and generated data as canonical loadings. Using these loadings, we can control the characteristics of the data generated by the proposed method. The influence of class labels on generated data is analyzed by feeding the data interpolated between two class labels into the generator of the proposed GANs. The CCA of the latent variables is shown to be an effective method of controlling the generated data characteristics. We are able to model the distribution of the time-series data without requiring domain-dependent knowledge using the proposed method. Furthermore, it is possible to control the characteristics of these data by analyzing the model trained using the proposed method. To the best of our knowledge, this work is the first to generate biosignals using GANs while controlling the characteristics of the generated data.

연구 동기 및 목표

• 도메인 전문 지식이 필요로 하지 않는 단일 모델 기반의 조건부 GAN 프레임워크를 개발하여 여러 생체신호 클래스를 생성하는 것.
• 기본 GAN에서 입력-출력 관계가 투명하지 못해 해석 불가능성과 제어 불가능성이 존재하는 문제를 해결하는 것.
• 생성된 생체신호의 정량적 평가를 가능하게 하고, 진폭 및 주파수와 같은 특정 신호 특성에 대한 제어를 가능하게 하는 것.
• 입력 조건(예: 클래스 레이블)과 생성된 신호 특성 간의 관계를 드러내기 위해 잠재공간을 CCA로 분석하는 것.
• 각 클래스별로 별도의 독립 모델을 사용하는 대신 단일 조건부 모델로 전환하여 학습 비용과 모델 복잡도를 감소시키는 것.

제안 방법

• 생체신호의 시간적 의존성을 모델링하기 위해 생성기 및 판별기 네트워크에 모두 장기 단기 기억(LSTM) 유닛을 통합한 조건부 GAN 아키텍처를 설계하였다.
• 클래스 레이블이 생성기 및 판별기 양쪽 모두에 조건 입력으로 사용되어, 단일 모델을 통해 여러 생체신호 클래스의 조건부 생성이 가능해졌다.
• 잠재 변수에 캐논칼 상관분석(CCA)을 적용하여 입력 조건과 생성된 신호 특성 간의 통계적 관계를 밝혀내었다.
• CCA 결과를 바탕으로 생성된 출력 신호 특성(예: 평균 주파수 또는 최대 진폭)에 원하는 변화를 유도할 수 있는 제어 가능한 입력 벡터를 생성하였다.
• 도메인 전문 지식 기반의 신호 사전 지식이 필요로 하지 않는, 적대적 손실 및 재구성 손실을 기반으로 한 엔드 투 엔드 학습 방식을 사용하였다.
• 클래스 레이블 간의 입력 보간을 통해 생성된 신호 전이의 부드러움과 연속성을 분석하였다.

실험 결과

연구 질문

• RQ1 단일 조건부 GAN 모델이 각 클래스별 별도의 모델을 학습시키는 것보다 모델 복잡도를 낮추면서도 다양한 생체신호 클래스(예: ECG, EEG)를 고해상도로 생성할 수 있는가?
• RQ2 GAN의 잠재공간을 어떻게 분석하여 입력 조건(예: 클래스 레이블)과 생성된 신호 특성 간의 관계를 드러낼 수 있는가?
• RQ3 CCA 유도 캐논칼 로딩을 사용하여 해당 특성에 대한 명시적 지도 학습 없이도 생성된 생체신호의 특성을 어느 정도 제어할 수 있는가?
• RQ4 제안된 방법은 이전의 GAN 기반 생체신호 생성 방법과 비교해 유사도 측면에서 동일하거나 더 높은 생성 품질을 달성하는가?
• RQ5 잠재공간에서 클래스 레이블 간 보간을 통해 생성된 신호 전이가 부드럽고 생리학적으로 타당한가? 이는 모델이 의미 있는 잠재 구조를 포착하고 있음을 시사한다.

주요 결과

• 제안된 방법은 이전의 방법(저자들의 이전 독립 클래스 모델 포함)과 비교해도 DTW 기반 유사도 점수에서 실재 데이터와 유사하거나 이를 초월하는 높은 수준의 생체신호 생성 품질을 달성하였다.
• 모델 파라미터 수가 이전 방법의 1/C로 감소하여(여기서 C는 클래스 수), 학습 비용과 복잡도가 크게 감소하였다.
• CCA 분석을 통해 최대 진폭 및 평균 주파수와 같은 핵심 신호 특성과 입력 잠재 변수 간에 강한 캐논칼 상관관계가 확인되어 의미 있는 입력-출력 관계가 존재함을 입증하였다.
• CCA 로딩 기반으로 입력 벡터를 조작함으로써, 목표 특성(예: 평균 주파수 증가 또는 진폭 감소)에 맞는 신호를 성공적으로 생성하여 효과적인 제어 가능성의 가능성을 입증하였다.
• 클래스 레이블 간 보간을 통해 생성된 생체신호 전이가 부드럽고 생리학적으로 타당한 변화를 보였으며, 이는 모델이 의미 있는 잠재 구조를 포착하고 있음을 시사한다.
• 학습 중에 명시적으로 사용하지 않은 특성(예: 주파수 및 진폭)에 대해서도 잠재공간 분석을 통해 제어가 가능했으며, 이는 CCA를 통한 해석 가능성 및 제어 가능성 향상의 유용성을 입증한다.