[논문 리뷰] A brief introduction to the Grey Machine Learning

Xin Ma|arXiv (Cornell University)|2018. 05. 04.

Grey System Theory Applications인용 수 43

한 줄 요약

이 논문은 Grey Machine Learning (GML)을 소개합니다. 이는 커널 기반의 회색 시스템 이론 확장으로, 커널 방법을 통해 작은 샘플 동적 시스템에서 알려지지 않은 비선형 함수를 추정하고 회색 모델과 LSSVM을 연결합니다.

ABSTRACT

This paper presents a brief introduction to the key points of the Grey Machine Learning (GML) based on the kernels. The general formulation of the grey system models have been firstly summarized, and then the nonlinear extension of the grey models have been developed also with general formulations. The kernel implicit mapping is used to estimate the nonlinear function of the GML model, by extending the nonparametric formulation of the LSSVM, the estimation of the nonlinear function of the GML model can also be expressed by the kernels. A short discussion on the priority of this new framework to the existing grey models and LSSVM have also been discussed in this paper. And the perspectives and future orientations of this framework have also been presented.

연구 동기 및 목표

• 소형 샘플 동적 시스템에서 알려지지 않은 비선형 관계를 다루기 위해 회색 시스템 이론과 머신러닝의 통합을 촉진한다.
• 알려지지 않은 비선형 함수를 커널 기반 추정기로 대체하여 회색 모델을 일반화한다.
• 커널 기반의 규제화된 추정이 회색 모델에 대해 유연한 준 파라메트릭 프레임워크를 제공함을 보인다.
• 향후 GML 개발을 안내하기 위해 실용적 구현과 남은 이슈를 제시한다.

제안 방법

• phi(t)라는 알려지지 않은 함수를 가지는 GML의 일반적인 연속 및 이산 형식을 제시한다.
• phi(t)를 omega^T phi(x(t))로 표현하기 위한 고차원 특징 공간에서의 선형 표현을 확립한다.
• 커널 방법을 사용하여 K(x(k), x(t))를 통해 내적을 계산하고 규제된 최소제곱 문제(릿지)를 풀어 lambda와 b를 얻는다.
• 비선형 추정 hat{y}(t)를 얻기 위한 선형 시스템(커널화된 Representer 해)을 도출한다.
• 선형 구성 요소와 커널 구성 요소를 결합하여 준파라메트릭 추정으로 확장한다.
• GML 맥락에서 커널 선택, 하이퍼파라미터 조정 및 학습 알고리즘을 논의한다.

실험 결과

연구 질문

• RQ1 회색 모델은 커널 기반 추정기를 사용하여 알려지지 않은 비선형 관계를 어떻게 통합할 수 있는가?
• RQ2 GML에서 커널 방법이 비선형 부분을 추정하게 하는 계산적 및 이론적 기반은 무엇인가?
• RQ3 작은 샘플 환경에서 커널 기반의 규제화된 형태가 고전적 회색 모델 및 LSSVM 같은 정적 ML 모델보다 성능을 향상시키는가?
• RQ4 실세계 동적 시스템에 GML을 적용할 때의 실용적 고려사항과 남은 이슈는 무엇인가?
• RQ5 GML 프레임워크 내에서 준파라메트릭 확장이 비파라미터 커널 추정과 어떻게 비교되는가?

주요 결과

• GML의 비선형 함수는 커널 합으로 표현될 수 있으며 hat{phi}(t)=sum lambda_k K(x(k), x(t))이다.
• GML은 커널 행렬 Omega를 포함하는 선형 시스템으로 축약되며 lambda와 b를 해를 얻는다.
• 이 프레임워크는 GML을 알려진 선형 회색 구조와 커널 기반 비선형 구성 요소의 조합으로 위치시킨다.
• GML은 Representer Theorem과 일치하며 규제화 학습에서 커널 기반 추정을 지원한다.
• 이전 연구의 실증 결과는 작은 샘플에서 GML이 고전적 회색 모델과 정적 LSSVM보다 비선형 동역학에 대해 더 우수할 수 있음을 시사한다.