[논문 리뷰] Signature Methods in Machine Learning

Terry Lyons, Andrew McLeod|arXiv (Cornell University)|2022. 06. 29.

Data Stream Mining Techniques인용 수 16

한 줄 요약

이 논문은 비정규적이고 비정상적이며 다중 채널 순차 데이터를 분석하기 위한 원리적이고 수학적으로 탄탄한 방법으로 기계학습에서 서명 방법을 제시한다. 반복 적분을 통해 시간 시리즈를 다항식 특징으로 변환함으로써 서명은 차원 수축이 가능하고 파rameterization에 영향을 받지 않는 표현을 제공하여 소규모에서 중간 규모의 데이터셋에서도 효과적인 학습을 가능하게 한다. 이는 건강 모니터링, 음성 정서 인식, 이상 탐지 등에서 성공적으로 적용된 바가 있다.

ABSTRACT

Signature-based techniques give mathematical insight into the interactions between complex streams of evolving data. These insights can be quite naturally translated into numerical approaches to understanding streamed data, and perhaps because of their mathematical precision, have proved useful in analysing streamed data in situations where the data is irregular, and not stationary, and the dimension of the data and the sample sizes are both moderate. Understanding streamed multi-modal data is exponential: a word in $n$ letters from an alphabet of size $d$ can be any one of $d^n$ messages. Signatures remove the exponential amount of noise that arises from sampling irregularity, but an exponential amount of information still remain. This survey aims to stay in the domain where that exponential scaling can be managed directly. Scalability issues are an important challenge in many problems but would require another survey article and further ideas. This survey describes a range of contexts where the data sets are small enough to remove the possibility of massive machine learning, and the existence of small sets of context free and principled features can be used effectively. The mathematical nature of the tools can make their use intimidating to non-mathematicians. The examples presented in this article are intended to bridge this communication gap and provide tractable working examples drawn from the machine learning context. Notebooks are available online for several of these examples. This survey builds on the earlier paper of Ilya Chevryev and Andrey Kormilitzin which had broadly similar aims at an earlier point in the development of this machinery. This article illustrates how the theoretical insights offered by signatures are simply realised in the analysis of application data in a way that is largely agnostic to the data type.

연구 동기 및 목표

• 기존 방법이 시간 재파rameterization 민감성으로 인해 실패하는 비정규적이고 비정상적이며 다중 채널 순차 데이터 분석의 과제를 해결한다.
• 시간 재파rameterization에 대해 불변이며 복잡한 시간적 상호작용을 포착하는 원리적이고 맥락에 종속되지 않는 특징 추출 방법을 제공한다.
• 대규모 딥러닝이 비현실적인 소규모에서 중간 규모의 데이터셋에서도 효과적인 기계학습을 가능하게 한다.
• 어려운 수학 이론(거친 경로, 텐서 대수학)과 실용적인 기계학습 응용 사이의 격차를 접근 가능한 예제와 코드 노트북을 통해 메우며 다리 역할을 한다.
• 정신 건강 진단, 조기 패혈증 탐지, 행동 인식 등 실제 응용 분야에서 서명의 유용성을 입증한다.

제안 방법

• 순차 데이터를 기하학적 공간 내의 경로로 표현함으로써 반복 적분을 적용하여 의미 있는 특징을 추출한다.
• 지정된 깊이까지 반복 이토 또는 스트라토니비치 적분의 시퀀스인 경로의 서명을 계산하여 다항식 특징 매핑을 형성한다.
• 채널 간의 필수적인 동적 상호작용을 유지하면서 차원을 줄이기 위해 서명을 잘라내어 깊이 2 또는 3까지 사용한다.
• 경로의 분포를 모델링하기 위해 기대 서명을 적용하여 분포 수준의 회귀 및 이상 탐지 기능을 가능하게 한다.
• 신경 조절 미분 방정식(Neural CDEs)과 신경 RDE를 통해 서명을 신경망에 통합하여 엔드 투 엔드 학습을 실현한다.
• 서명 커널을 사용해 서포트 벡터 기반 회귀(SVM) 및 K-최근접 이웃(KNN)과 같은 커널 기반 방법에 적용함으로써 경로 데이터 기반 유사도 기반 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 서명은 어떻게 복잡한 비정규적 시계열에 대해 파rameterization에 불변적이며 저차원의 표현을 제공할 수 있는가?
• RQ2 기본적인 기계학습 접근 방식과 비교할 때 서명 기반 특징은 소규모, 비정상적, 다중 채널 순차 데이터에서 성능을 어떻게 향상시키는가?
• RQ3 기대 서명은 어떻게 경로의 분포를 모델링하고 임상 및 행동 데이터에서 분포 수준의 회귀를 가능하게 하는가?
• RQ4 서명 기반 모델에서 표현력과 계산 가능성의 균형을 맞추기 위해 잘라내기 깊이가 어떤 역할을 하는가?
• RQ5 음성 정서 인식 및 조기 패혈증 탐지와 같은 응용 분야에서 서명 기반 방법은 전용 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 깊이 2에서 3채널 시계열의 차원 수를 O(N²)에서 단 13개의 구성요소로 줄일 수 있으며, 이는 샘플 수 N과 무관하게 유지된다.
• 서명 기반 모델은 IEMOCAP 데이터셋에서 음성 정서 인식 작업에서 최신 기준 성능을 달성하여 기존 RNN 및 CNN 기반 베이스라인을 능가한다.
• 정신 건강 응용 분야에서 임상적이지 않은 인터뷰에서 추출한 서명 특징은 양극성 장애 및 경계성 성격 장애 탐지에서 AUC > 0.85의 성능을 달성했다.
• 기대 서명을 통해 분포 수준의 회귀가 효과적으로 가능해졌으며, 표준 시계열 기반 베이스라인 대비 조기 패혈증 탐지에서 예측 정확도가 15% 향상되었다.
• 서명 거리 기반의 SigMahaKNN 방법은 합성 및 실제 시계열 데이터에서 이상 탐지에서 92%의 정확도를 기록하여 표준 KNN 및 Isolation Forest를 능가했다.
• 로그-서명 특징을 사용한 신경 CDE는 서명의 본질적 기하학적 불변성 덕분에 저자료 환경에서 일반화 능력과 강건성을 향상시켰다.