[論文レビュー] A brief introduction to the Grey Machine Learning

Xin Ma|arXiv (Cornell University)|May 4, 2018

Grey System Theory Applications被引用数 43

ひとこと要約

本論文は、グレイ系理論のカーネルベースの拡張である Grey Machine Learning (GML) を導入し、カーネル法を用いて少数サンプルの動的システムにおける未知の非線形関数を推定し、グレイモデルと LSSVM を結びつける。

ABSTRACT

This paper presents a brief introduction to the key points of the Grey Machine Learning (GML) based on the kernels. The general formulation of the grey system models have been firstly summarized, and then the nonlinear extension of the grey models have been developed also with general formulations. The kernel implicit mapping is used to estimate the nonlinear function of the GML model, by extending the nonparametric formulation of the LSSVM, the estimation of the nonlinear function of the GML model can also be expressed by the kernels. A short discussion on the priority of this new framework to the existing grey models and LSSVM have also been discussed in this paper. And the perspectives and future orientations of this framework have also been presented.

研究の動機と目的

• グレイ系統理論を機械学習と統合し、少数サンプルの動的システムにおける未知の非線形関係を扱う動機づけ。
• 未知の非線形関数をカーネルベースの推定量に置き換えてグレイモデルを一般化する。
• カーネルベースで正則化された推定が、グレイモデルの柔軟な半パラメトリック枠組みを提供することを示す。
• 今後の GML 開発を導く実践的な実装と未解決の課題を提供する。

提案手法

• 未知関数 φ(t) を含む GML の一般的な連続・離散定式を提示する。
• φ(t) を高次元特徴空間で ω^T φ(x(t)) と線形表現する。
• 内積を K(x(k), x(t)) によって計算し、正則化最小二乗問題（リッジ）を解いて λ と b を得る。
• 非線形推定 hat{y}(t) を得るための線形系（カーネル化された表現定理解）を導出する。
• 線形成分とカーネル成分を組み合わせて半パラメトリック推定へ拡張する。
• GML の文脈でカーネル選択、ハイパーパラメータ調整、学習アルゴリズムを論じる。

実験結果

リサーチクエスチョン

• RQ1 グレイモデルはカーネルベースの推定量を用いて未知の非線形関係をどのように組み込むことができるか。
• RQ2 カーネル法が GML における非線形部分を推定する基盤となる計算的・理論的根拠は何か。
• RQ3 カーネルベースの正則化された定式化は、少数サンプル設定で古典的なグレイモデルや静的 ML モデル（LSSVM）の性能を上回るのか。
• RQ4 実世界の動的システムへ GML を適用する際の実務的考慮事項と未解決の問題は何か。
• RQ5 半パラメトリック拡張は GML フレームワーク内の非パラメトリック推定とどう比較されるか。

主な発見

• GML における非線形関数はカーネル和として表現できる hat{phi}(t)=sum lambda_k K(x(k), x(t))。
• GML はカーネル行列 Ω を含む線形系へ還元され、λ と b を解く。
• この枠組みは、既知の線形グレイ構造とカーネルベースの非線形成分の組み合わせとして GML を位置づける。
• GML は Representer Theorem に整合し、正則化学習におけるカーネルベース推定を支持する。
• 過去の実証研究は、GML が少数サンプルで非線形ダイナミクスに対して古典的なグレイモデルや静的 LSSVM よりも優れる可能性があることを示唆している。