[논문 리뷰] Deep density ratio estimation for change point detection

Haidar Khan, Lara Marcuse외 1명|arXiv (Cornell University)|2019. 05. 23.

EEG and Brain-Computer Interfaces참고 문헌 23인용 수 13

한 줄 요약

이 논문은 EEG 데이터에서의 간질 발작 시작과 같은 변화점 탐지에 대해, 새로운 목적 함수를 사용한 딥 데니티티 비율 추정을 제안한다. 기존의 DSKL 목적 함수를 수정하여 기준 데이터와 평가 데이터를 대칭적으로 취급함으로써, 딥 신경망을 훈련시켜 성능을 향상시켰으며, 평균 탐지 지연 시간을 25초로 감소시켰다. 이는 커널 기반 및 윈도우 기반 방법보다 뛰어난 성능을 보이며, 특히 특징 학습을 위해 컨volutional 네트워크를 결합함으로써 더욱 향상된다.

ABSTRACT

In this work, we propose new objective functions to train deep neural network based density ratio estimators and apply it to a change point detection problem. Existing methods use linear combinations of kernels to approximate the density ratio function by solving a convex constrained minimization problem. Approximating the density ratio function using a deep neural network requires defining a suitable objective function to optimize. We formulate and compare objective functions that can be minimized using gradient descent and show that the network can effectively learn to approximate the density ratio function. Using our deep density ratio estimation objective function results in better performance on a seizure detection task than other (kernel and neural network based) density ratio estimation methods and other window-based change point detection algorithms. We also show that the method can still support other neural network architectures, such as convolutional networks.

연구 동기 및 목표

• 기본 분포가 알려지지 않은 고차원 비선형 시계열에서 변화점 탐지 문제를 해결하기 위해.
• 두 개의 알려지지 않은 확률 분포의 비율을 효과적으로 근사할 수 있는 딥 신경망 기반의 밀도 비율 추정기 개발을 위해.
• 미니배치 경사하강법 훈련에 적합한 새로운 목적 함수를 설계하여 기존 방법 대비 안정성과 성능을 향상시키기 위해.
• 실제 EEG 데이터에서의 간질 탐지에 대해 이 방법을 평가하고, 커널 기반 및 윈도우 기반 변화점 탐지 기법과 성능을 비교하기 위해.
• 엔드 투 엔드 특징 추출과 밀도 비율 추정을 위한 컨volutional 신경망의 통합을 탐색하기 위해.

제안 방법

• 기준 샘플과 평가 샘플을 대칭적으로 취급하여 훈련 안정성과 성능을 향상시키는 새로운 목적 함수인 DSKL(Density Ratio Score KL)을 제안한다.
• DSKL 목적 함수를 딥 러닝에 적용하기 위해, 확률적 경사하강법에 적합한 미분 가능한 손실 함수를 정의함으로써 KLIEP 프레임워크를 확장한다.
• 예측된 밀도 비율을 변화점 예측으로 변환하기 위해 시그모이드 변환(예: 로지스틱 함수)을 사용하며, 이는 $k$와 $x_0$ 매개변수에 의해 제어된다.
• 초기화된 하이퍼파rameter를 튜닝하기 위해 교차검증을 사용하고, 테스트 세트에 대해 학습된 모델을 적용하여 변화점 예측을 수행한다.
• 원시 웨이블릿 변환된 EEG 신호로부터 계층적 특징을 직접 학습하기 위해 컨volutional 신경망(CNNs)을 통합한다.
• DSKL 목적 함수를 사용한 미니배치 훈련을 통해 딥 밀도 비율 추정기의 확장성과 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 고차원 시계열에서 기저 분포가 알려지지 않은 두 분포 간의 밀도 비율을 효과적으로 학습할 수 있는가?
• RQ2 LSIF 및 BARR와 같은 기존 방법과 비교해 볼 때, DSKL과 같은 새로운 목적 함수는 훈련 안정성과 탐지 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 특징 학습을 위해 컨volutional 네트워크를 통합하면 EEG 데이터에서의 변화점 탐지 성능이 향상되는가?
• RQ4 딥 데니티티 비율 추정은 전통적인 커널 기반 및 윈도우 기반 변화점 탐지 알고리즘을 초월할 수 있는가?
• RQ5 미니배치 크기가 딥 데니티티 비율 추정기의 성능과 안정성에 미치는 영향은 무엇인가?

주요 결과

• DSKL 목적 함수는 훈련 안정성과 성능을 크게 향상시켜, 커널 기반 및 윈도우 기반 방법 대비 평균 탐지 지연 시간을 25초로 감소시켰다.
• 딥 컨볼루션 밀도 비율 추정기(DCDRE)는 평균 탐지 지연 시간 16초로 가장 뛰어난 성능을 보였지만, 부트스트랩 런 동안 변동성이 더 높았다.
• DDRE-DSKL은 커널 기반 방법(rULSIF, KLIEP)과 다른 딥 러닝 변종(DDRE-LSIF, DDRE-BARR)을 모두 능가했으며, 이들 방법의 탐지 지연 시간은 51~52초로 더 높았다.
• LSIF 및 BARR 목적 함수는 작은 미니배치 크기(예: 10)에서 불안정성을 보였지만, DSKL은 기준 및 평가 데이터를 대칭적으로 취급함으로써 안정성을 유지했다.
• 엔드 투 엔드 특징 학습을 위한 CNN의 사용은 성능 향상에 기여했으며, 밀도 비율 추정에서 계층적 표현 학습의 가치를 입증했다.
• 높은 변동성에도 불구하고, 딥 러닝 기반 접근법은 특히 복잡한 고차원 EEG 데이터에서 탐지 정확도 측면에서 뚜렷한 우수성을 보였다.