[논문 리뷰] Kernels for sequentially ordered data

Franz J. Király, Harald Oberhauser|arXiv (Cornell University)|2016. 01. 29.

Time Series Analysis and Forecasting참고 문헌 32인용 수 7

한 줄 요약

이 논문은 서열 데이터를 위한 커널 프레임워크를 소개한다. 서열적 의존성을 캡처하는 순서화된 모멘트인 서명 특징을 사용하여, 어떤 정적 커널이라도 체계적으로 서열 커널로 변환할 수 있도록 한다. 이 방법은 동적 프로그래밍을 통해 효율적으로 이러한 커널을 계산하며, 수동적 특징 공학 없이도 최신 기술 수준의 성능을 달성하고, 연속적 모멘트 형태로 이론적으로 수렴한다.

ABSTRACT

We present a novel framework for kernel learning with sequential data of any kind, such as time series, sequences of graphs, or strings. Our approach is based on signature features which can be seen as an ordered variant of sample (cross-)moments; it allows to obtain a "sequentialized" version of any static kernel. The sequential kernels are efficiently computable for discrete sequences and are shown to approximate a continuous moment form in a sampling sense. A number of known kernels for sequences arise as "sequentializations" of suitable static kernels: string kernels may be obtained as a special case, and alignment kernels are closely related up to a modification that resolves their open non-definiteness issue. Our experiments indicate that our signature-based sequential kernel framework may be a promising approach to learning with sequential data, such as time series, that allows to avoid extensive manual pre-processing.

연구 동기 및 목표

• 다양하고 고차원적이며 대규모의 서열 데이터로부터 학습하는 데 있어 광범위한 수동적 특징 공학 없이도 도전 과제를 해결하기 위해.
• 모든 정적 커널을 서열 커널로 변환할 수 있는 표준화되고 이론적으로 탄탄한 방법을 제공하여 서열적 구조를 유지하기 위해.
• 스케일러비리티를 위해 동적 프로그래밍과 저랭크 근사법을 활용하여 서열 커널을 효율적으로 계산할 수 있도록 하기 위해.
• 서열화의 관점에서 기존의 시퀀스 커널들(예: 문자열 커널 및 어ライ먼트 커널)을 통합하고 일반화하기 위해.
• 실증적으로 서열화된 커널이 서열 분류 작업에서 최신 기술 수준의 방법들을 능가함을 보여주기 위해.

제안 방법

• 서열 데이터의 표준화되고 순서화된 모멘트 표현으로서 서명 특징을 제안하여 시간 또는 순서 간의 의존성을 캡처한다.
• 서열 커널을 서명 사상의 커널화된 형태로 정의함으로써 서열에서 커널 방법을 적용할 수 있도록 한다.
• 정적 커널 $ k: \mathcal{X} \times \mathcal{X} \to \mathbb{R} $ 를 서열 $ \mathcal{X}^+ $ 에서의 서열 커널 $ k^+ $ 로 변환하는 커널 서열화를 도입한다.
• 문자열 커널 계산과 유사하게, 동적 프로그래밍을 활용하여 이산 서명과 서열 커널을 효율적으로 계산한다.
• 텐서 기반 동적 프로그래밍을 사용하여 고차원 서열 커널을 계산하고, Nyström 및 유도점 근사법을 통해 대규모 학습을 가능하게 한다.
• 균일 샘플링 하에서 이산 서명이 연속적 서명 적분으로 수렴함을 보여주는 이론적 경계를 확립하며, 총 변동성에 따라 오차 경계를 제시한다.

실험 결과

연구 질문

• RQ1 서열 데이터에 대한 표준화되고 보편적인 특징 표현을 구성할 수 있을까? 이는 순서화된 의존성을 캡처하고 커널 학습을 가능하게 해야 한다.
• RQ2 기존의 정적 커널을 어떻게 체계적으로 서열 커널로 변환할 수 있을까? 서열화를 통해.
• RQ3 서열 커널을 계산하는 데 드는 계산 복잡도는 무엇이며, 대규모 서열에 대해서도 효율적으로 만들 수 있을까?
• RQ4 기존의 커널들(예: 문자열 커널 및 어라이먼트 커널)과 비교했을 때 성능 및 이론적 성질에서 서열화된 커널은 어떻게 다를까?
• RQ5 수동적 특징 공학 없이도 서열 분류 과제에서 최신 기술 수준의 성능을 달성할 수 있을까?

주요 결과

• 서명 기반 서열 커널 프레임워크는 서열에 대한 표준화되고 보편적인 특징 매핑을 제공하며, 샘플링 하에서 연속적 모멘트 형태로 이론적으로 수렴한다.
• 서열화된 커널은 동적 프로그래밍을 통해 효율적으로 계산되어 장기간의 서열과 대규모 데이터셋에까지 스케일러블함을 보장한다.
• 문자열 커널과 어라이먼트 커널은 제안된 서열화 프레임워크의 특수 케이스이거나 밀접하게 관련되어 있음을 입증하였으며, 어라이먼트 커널의 비정의성 문제를 수정함으로써 해결하였다.
• 손 움직임 및 펜디지털 분류 실험을 통해 서열화된 커널이 최신 기술 수준의 방법들을 능가함을 보였으며, 광범위한 사전 처리 없이도 성능이 뛰어나다.
• 이론적 분석을 통해 이산 서명이 최대 변동성에 비례하는 오차 경계를 갖는 연속 서명을 근사함을 증명하였으며, 수렴 속도는 $ O(\max_i V(x[t_i,t_{i+1}])) $ 이다.
• 프레임워크는 고차원 서열화와 브라운 운동 노이즈에 대한 강건성을 가능하게 하며, 2차 근사에서는 노이즈 관측 조건에서도 안정적인 성능을 보였다.