[논문 리뷰] SimTensor: A synthetic tensor data generator

Hadi Fanaee‐T, João Gama|arXiv (Cornell University)|2016. 12. 09.

Tensor decomposition and applications참고 문헌 18인용 수 5

한 줄 요약

SimTensor는 CP 또는 Tucker 구조를 가진 합성 텐서 데이터를 생성하기 위한 오픈소스이자 독립형 소프트웨어로, 주기적 파동, 계절 효과, 스트리밍 데이터, 변화점 및 이상치와 같은 시간 동적 특성을 지원합니다. 비재현 불가능한 연구를 방지하기 위해 CSV/HDF5로 내보내기 기능과 비음성, 희소성 등의 제약 조건을 지원함으로써 텐서 분해 알고리즘에 대한 재현 가능한 연구를 가능하게 합니다.

ABSTRACT

SimTensor is a multi-platform, open-source software for generating artificial tensor data (either with CP/PARAFAC or Tucker structure) for reproducible research on tensor factorization algorithms. SimTensor is a stand-alone application based on MATALB. It provides a wide range of facilities for generating tensor data with various configurations. It comes with a user-friendly graphical user interface, which enables the user to generate tensors with complicated settings in an easy way. It also has this facility to export generated data to universal formats such as CSV and HDF5, which can be imported via a wide range of programming languages (C, C++, Java, R, Fortran, MATLAB, Perl, Python, and many more). The most innovative part of SimTensor is this that can generate temporal tensors with periodic waves, seasonal effects and streaming structure. it can apply constraints such as non-negativity and different kinds of sparsity to the data. SimTensor also provides this facility to simulate different kinds of change-points and inject various types of anomalies. The source code and binary versions of SimTensor is available for download in http://www.simtensor.org.

연구 동기 및 목표

• 텐서 분해 알고리즘의 벤치마킹을 위한 종합적이고 현실적이며 재현 가능한 합성 텐서 데이터의 부족을 해결하기 위해.
• 다양한 프로그래밍 언어를 사용하는 연구자들이 접근할 수 있도록 MATLAB 기반 텐서 생성기의 플랫폼에 구애받지 않는 오픈소스 대안을 제공하기 위해.
• 주기성, 계절성, 스트리밍 행동, 구조적 변화점과 같은 시간에 따라 변화하는 텐서 특성을 지원하기 위해.
• 이상치의 삽입과 제약 조건(비음성, 희소성)의 적용을 통해 실제 세계의 데이터 과제를 시뮬레이션하기 위해.
• 사용자 우아한 GUI와 표준화된 데이터 내보내기 형식을 통해 다양한 데이터 구성에서 텐서 분해 알고리즘의 평가를 촉진하기 위해.

제안 방법

• 감마, 다변량 정규분포, 균일분포, 표준 정규분포 및 직교 행렬을 포함한 다수의 랜덤 분포 모듈을 사용하여 요인 행렬을 구성함으로써 CP 또는 Tucker 분해를 이용해 합성 텐서를 생성합니다.
• 사용자가 요인 행렬과 코어 텐서에 대해 분포 유형과 제약 조건(예: 비음성, 희소성)을 선택할 수 있도록 모듈식 아키텍처를 채택합니다.
• 주기적 파동, 계절 효과 및 스트리밍 데이터 구조를 통해 시간에 따른 텐서 생성을 지원하여 실제 세계의 시간에 따라 변화하는 데이터를 모방합니다.
• 변화점 탐지 및 이상치 삽입 메커니즘을 통합하여 텐서 데이터의 구조적 이질성과 이방성(이상치)을 시뮬레이션합니다.
• 모든 프로그래밍 언어(파이썬, R, C++, 자바 등) 간의 상호 운용성을 위해 일반 형식(CSV, HDF5)으로 내보내기 功能을 제공합니다.
• 감마 분포를 기반으로 한 요인에 기반한 포아송 분포 데이터를 사용하여 희소 카운트 텐서 생성과 같은 고급 기능을 통합합니다. 이는 베이지안 텐서 분해에 적합합니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 주기성, 계절성, 스트리밍 동적 특성을 현실적으로 모방할 수 있는 합성 텐서 데이터를 생성할 수 있는가?
• RQ2 합성 텐서 데이터에 효과적으로 이상치와 변화점을 삽입하여 강건한 알고리즘 평가를 가능하게 하는 메커니즘은 무엇인가?
• RQ3 비음성, 희소성, 열 상관관계와 같은 제약 조건을 요인 행렬과 코어 텐서에 체계적으로 적용하는 방법은 무엇인가?
• RQ4 독립형 오픈소스 도구가 접근성과 확장성 측면에서 MATLAB 기반 텐서 생성기보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 통합된 프레임워크가 사용자 정의 가능하고 재현 가능하며 확장 가능한 합성 데이터 생성을 통해 다양한 텐서 분해 알고리즘을 지원할 수 있는가?

주요 결과

• SimTensor는 주기적 파동과 계절 효과와 같은 복잡한 시간 동적 특성을 가진 CP 및 Tucker 구조의 합성 텐서를 성공적으로 생성합니다.
• 도구는 변화점과 이상치의 삽입을 지원하여 점진적 및 강건한 텐서 분해 알고리즘의 평가를 가능하게 합니다.
• 비음성 및 희소성 제약 조건을 지원하여 비음성 및 희소 텐서 분해 알고리즘의 평가에 적합합니다.
• 감마 분포를 기반으로 한 요인에 기반한 포아송 분포 데이터를 사용하여 희소 카운트 텐서를 생성할 수 있으며, 이는 베이지안 텐서 분해에 이상적입니다.
• SimTensor의 독립형 아키텍처와 다양한 내보내기 형식(CSV, HDF5) 지원 덕분에 다양한 프로그래밍 환경과 플랫폼 간 광범위한 호환성이 확보됩니다.
• 도구는 오픈소스이자 확장 가능하여 커뮤니티 기여와 현재 기능 세트를 초월한 새로운 알고리즘 요구사항에 대한 적응이 가능합니다.