[論文レビュー] A Review of Meta-level Learning in the Context of Multi-component, Multi-level Evolving Prediction Systems

Abbas Raza Ali, Marcin Budka+1 more|arXiv (Cornell University)|Jul 17, 2020

Data Stream Mining Techniques参考文献 92被引用数 4

ひとこと要約

この論文は、進化する、多要素で多段階の予測システムにおけるメタレベル学習（MLL）をレビューし、非定常なデータ環境におけるアルゴリズム選択とシステム適応を自動化するためのフレームワークを提案する。メタ特徴量とメタ知識を活用することで、前処理、学習アルゴリズム、コンセプトドリフト対処の各分野において知能的でリアルタイムの推奨を可能にし、手動によるチューニングや専門家による干渉への依存を顕著に低減する。

ABSTRACT

The exponential growth of volume, variety and velocity of data is raising the need for investigations of automated or semi-automated ways to extract useful patterns from the data. It requires deep expert knowledge and extensive computational resources to find the most appropriate mapping of learning methods for a given problem. It becomes a challenge in the presence of numerous configurations of learning algorithms on massive amounts of data. So there is a need for an intelligent recommendation engine that can advise what is the best learning algorithm for a dataset. The techniques that are commonly used by experts are based on a trial and error approach evaluating and comparing a number of possible solutions against each other, using their prior experience on a specific domain, etc. The trial and error approach combined with the expert's prior knowledge, though computationally and time expensive, have been often shown to work for stationary problems where the processing is usually performed off-line. However, this approach would not normally be feasible to apply to non-stationary problems where streams of data are continuously arriving. Furthermore, in a non-stationary environment, the manual analysis of data and testing of various methods whenever there is a change in the underlying data distribution would be very difficult or simply infeasible. In that scenario and within an on-line predictive system, there are several tasks where Meta-learning can be used to effectively facilitate best recommendations including 1) pre-processing steps, 2) learning algorithms or their combination, 3) adaptivity mechanisms and their parameters, 4) recurring concept extraction, and 5) concept drift detection.

研究の動機と目的

• リアルタイムで進化する非定常なデータストリームに対して最適な学習アルゴリズムを選択する課題に対処すること。
• アルゴリズム設定における手動による試行錯誤的アプローチや専門家による干渉への依存を低減すること。
• 多要素で多段階の予測システムに適したスケーラブルで自動化された推奨システムの開発。
• コンセプトドリフトとシステムパフォーマンスの追跡を可能にするメタラーニング技術を用いて、オンラインでの適応を可能にすること。
• 多様な学習問題にわたるメタ知識の表現と検索を統合的に確立すること。

提案手法

• 記述的、統計的、情報理論的、ランドマーク法、モデルベースのアプローチを用いて、データセットからメタ特徴量（MFs）を抽出する。
• 過去に適用された学習アルゴリズムのパフォーマンス指標とMFsを関連付けることで、メタ知識（MK）データベースを構築する。
• 歴史的なMKを基に、新しい問題の特徴を最も適したアルゴリズムにマッピングするメタラーナーを用いる。
• 軽量で高速な学習器をプロキシとして用いて、完全なアルゴリズムパフォーマンスを推定するランドマーク法を適用する。
• 決定木ベースのモデル特徴量（例：深さ、ノード数、形状、均一性）を用いて、構造的問題特性を表現する。
• 複数のメタ特徴量タイプ（記述的、統計的、情報理論的、モデルベース）を統合的に表現することで、進化する予測システムにおけるリアルタイム意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてメタレベル学習が、非定常環境における未観測のデータセットに対して最適な学習アルゴリズムを効果的に推奨できるか？
• RQ2 多様なデータタイプと問題領域にわたって、学習アルゴリズムのパフォーマンスを最も効果的に予測するメタ特徴量は何か？
• RQ3 リアルタイムのシステム適応を支援するため、メタ知識を効率的に表現・検索する方法は何か？
• RQ4 メタラーニングは、進化する予測システムにおける手動によるアルゴリズムチューニングと専門家による干渉の必要性をどのように低減できるか？
• RQ5 異なるメタ特徴量抽出手法（例：ランドマーク法対モデルベース）は、アルゴリズム選択における予測精度においてどのように比較されるか？

主な発見

• 相関統計、エントロピー、相互情報量、ランドマーク法のパフォーマンスといったメタ特徴量が、アルゴリズム選択の強力な予測信号を提供する。
• 木の深さ、ノード分布、分岐長さといったモデルベースのメタ特徴量は、構造的複雑性を効果的に捉え、アルゴリズム推奨を導く。
• ランドマーク法アプローチにより、完全なアルゴリズムパフォーマンスを予測するための高速プロキシ学習器を用いることで、計算コストを顕著に低減できる。
• 記述的、統計的、情報理論的、モデルベースの複数のメタ特徴量タイプの統合により、メタラーナーのロバストネスと一般化性能が向上する。
• 歴史的パフォーマンスデータから構築されたメタ知識データベースにより、動的環境でも最小限のレイテンシで正確なリアルタイム推奨が可能になる。
• フレームワークにより、専門知識や手動チューニングへの依存が低減され、多様な分野にわたり進化する予測システムのスケーラブルな展開が可能になる。