[논문 리뷰] Embedding and learning with signatures

Adeline Fermanian|arXiv (Cornell University)|2019. 11. 29.

Music and Audio Processing참고 문헌 42인용 수 12

한 줄 요약

이 논문은 이산 데이터를 연속 경로로 매핑하고 반복 적분을 계산하여 순차적이고 多차원적 시계열 데이터를 위한 일반적이고 기하학적인 특징 표현 방법인 서명 방법을 제안한다. 다양한 데이터셋과 알고리즘에서 리드-레그 임베딩이 항상 우월한 성능을 보이며, 단순한 모델(예: XGBoost)과도 조합되었을 때도 최신 기술 수준의 정확도를 달성하면서 계산 비용은 최소화한다.

ABSTRACT

Sequential and temporal data arise in many fields of research, such as quantitative finance, medicine, or computer vision. A novel approach for sequential learning, called the signature method and rooted in rough path theory, is considered. Its basic principle is to represent multidimensional paths by a graded feature set of their iterated integrals, called the signature. This approach relies critically on an embedding principle, which consists in representing discretely sampled data as paths, i.e., functions from $[0,1]$ to $\mathbb{R}^d$. After a survey of machine learning methodologies for signatures, the influence of embeddings on prediction accuracy is investigated with an in-depth study of three recent and challenging datasets. It is shown that a specific embedding, called lead-lag, is systematically the strongest performer across all datasets and algorithms considered. Moreover, an empirical study reveals that computing signatures over the whole path domain does not lead to a loss of local information. It is concluded that, with a good embedding, combining signatures with other simple algorithms achieves results competitive with state-of-the-art, domain-specific approaches.

연구 동기 및 목표

• 다양한 경로 임베딩이 서명 기반 학습 성능에 미치는 영향을 평가하는 것.
• 전체 경로에 대해 서명을 계산할 경우 局소 정보가 손실되는지 평가하는 것.
• 서명 기반 모델과 최신 기술 수준의 도메인 전용 접근법 간의 시계열 분류 성능을 비교하는 것.
• 고차원 순차적 데이터에서 서명 특징의 강인성과 확장성에 대한 연구.
• 서명 방법을 순차 학습 분야에서 특수화된 모델에 대체 가능한 일반적이고 효율적이며 경쟁력 있는 방법으로 정립하는 것.

제안 방법

• 시간, 리드-레그, 시간-리드-레그 등 다양한 임베딩을 통해 이산 순차 데이터를 $[0,1] \to \mathbb{R}^d$ 영역의 연속 경로로 표현하는 것.
• 지정된 절단 순서까지의 반복 적분의 계층적 특징 집합으로 각 경로의 서명을 계산하는 것.
• 분류 작업을 위해 표준 기계 학습 알고리즘(예: XGBoost, k-NN, 신경망)을 서명 특징에 적용하는 것.
• 각 성분을 그 다음 값과 연결하여 시간 역동성을 더 잘 기하학적으로 표현할 수 있도록 리드-레그 임베딩을 사용하는 것.
• 여러 데이터셋에서 표준 평가 지표(예: $F_1$-스코어, 학습 시간)를 사용해 모델 성능을 평가하는 것.
• 대규모 데이터셋에 대한 확장성을 확보하기 위해 서명 계산을 병렬화하여 랩탑에서 샘플당 약 0.0008초의 처리 시간을 달성하는 것.

실험 결과

연구 질문

• RQ1 시간, 리드-레그 등 다양한 경로 임베딩 방식이 서명 기반 모델의 예측 정확도에 어떤 영향을 미치는가?
• RQ2 전체 경로 영역에서 서명을 계산할 경우 국소적 시간 정보가 손실되는가?
• RQ3 서명 기반 특징과 간단한 딥러닝이 아닌 알고리즘을 조합했을 때 최신 기술 수준의 도메인 전용 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 서명 방법은 차원 수와 특징 수가 증가함에 따라 어떻게 확장되는가?
• RQ5 다양한 데이터셋과 알고리즘에서 리드-레그 임베딩이 뛰어난 성능을 보이는 이유는 무엇인가?

주요 결과

• 리드-레그 임베딩은 테스트한 모든 데이터셋과 알고리즘에서 다른 임베딩 방식보다 뚜렷한 승리를 보이며 강인한 우월성을 입증했다.
• 전체 경로의 서명은 국소 정보를 충분히 유지하고 있음을 확인할 수 있었으며, 부분 경로 기반 서명과 비교해도 높은 성능을 기록했다.
• XGBoost를 사용한 서명 기반 모델은 Quick, Draw! 데이터셋에서 93.5%의 $F_1$-스코어를 기록했으며, 딥러닝 모델보다 1.5%p 높은 성능을 보였고, 계산 효율성 면에서도 뚜렷하게 뛰어났다.
• 서명 계산은 랩탑에서 샘플당 약 0.0008초밖에 걸리지 않아, 68,000개의 샘플을 포함한 대규모 데이터셋인 Quick, Draw!의 빠른 처리가 가능했다.
• 고차원적 시계열 데이터를 다룰 때 특히 뛰어난 성능을 보인 고차원의 Motion Sense 데이터셋에서 가장 강력한 결과를 기록했으며, 이는 다차원 순차 스트림 처리 능력이 뛰어나다는 것을 시사한다.
• 100,000개 이상의 서명 특징이 존재하더라도 성능이 안정을 유지했으며, 이는 고차원성에 대한 강인성과 대규모 데이터에 대한 확장 가능성의 잠재력을 보여준다.