[論文レビュー] Distributed Online Learning of Event Definitions

Nikos Katzouris, Alexander Artikis+1 more|arXiv (Cornell University)|May 5, 2017

Logic, Reasoning, and Knowledge参考文献 11被引用数 3

ひとこと要約

本稿では、イベント計算を用いたイベント定義の分散型オンライン学習システムを提示する。単一パスのOLEDアルゴリズムを拡張し、データストリームに across して並列で地理的に分散された学習を可能にする。Hoeffdingの不等式を用いて、互いに排他的なデータパーティション上で句の特殊化を独立して評価し、スコアを効率的に統合することで、通信量を最小限に抑えながら最大3.8倍の高速化を達成。学習時間は顕著に短縮され、F1スコアは高い水準を維持する。

ABSTRACT

Logic-based event recognition systems infer occurrences of events in time using a set of event definitions in the form of first-order rules. The Event Calculus is a temporal logic that has been used as a basis in event recognition applications, providing among others, direct connections to machine learning, via Inductive Logic Programming (ILP). OLED is a recently proposed ILP system that learns event definitions in the form of Event Calculus theories, in a single pass over a data stream. In this work we present a version of OLED that allows for distributed, online learning. We evaluate our approach on a benchmark activity recognition dataset and show that we can significantly reduce training times, exchanging minimal information between processing nodes.

研究の動機と目的

• 高速度で分散されたデータストリームから、スケーラブルかつリアルタイムに複雑なイベント定義を学習可能にする。
• 共有メモリのない分散型並列環境に、単一パスのオンラインILPシステムOLEDを拡張する。
• 処理ノード間の通信オーバーヘッドを最小限に抑えつつ、学習の正確性を保持する。
• 異なるデータ分布と規模の下で、ベンチマークのアクティビティ認識データセットを用いて手法を評価する。
• 海上監視など、現実世界の地理的に分散された分野への展開を可能にする。

提案手法

• 各ノードが局所的なデータパーティション上でHoeffdingの不等式を用いて品質を推定することで、独立に候補となる句の特殊化を評価するデータ並列戦略を採用する。
• 各ノードからの句スコアを集約し、グローバルな特殊化意思決定を下す。これにより、元のOLEDアルゴリズムのオンラインかつ単一パスの性質を保持する。
• 仮説に含めるために十分な例数で句が評価されるよう、ウォームアップ期間を維持する。
• イベント定義とフラジェントを表現する論理的枠組みとしてイベント計算を活用し、initiatedAtおよびterminatedAt述語のドメイン固有の公理を導入する。
• 反復的セットカバーのループを避ける代わりに、統計的信頼区間に基づくインクリメンタルでトップダウンの句特殊化に依存する。
• 生データや完全な仮説を送信しないで、句スコアと意思決定のみを送信することで、通信量を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 分散型で地理的に隔てられたデータストリーム上で、オンラインで単一パスのILP学習を効果的に並列化できるか？
• RQ2 分散型オンライン学習において、学習の正確性と収束性を保持しつつ、ノード間通信量を最小限に抑える方法は何か？
• RQ3 大規模なデータストリームにおいて、分散型OLED手法は逐次学習に比べてどの程度学習時間を短縮できるか？
• RQ4 分散型システムは、元の単一ノードOLEDアルゴリズムのF1スコアと仮説品質を保持できるか？
• RQ5 データの繰り返し（例：×10 CAVIAR）は、分散型オンライン学習における収束性と性能にどのような影響を与えるか？

主な発見

• ×10 CAVIAR実験において、分散型OLEDシステムは最大3.8倍の学習時間短縮を達成し、顕著なスケーラビリティを示した。
• ×10 CAVIAR実験では、すべてのコア数においてF1スコアが安定しており、学習性能が信頼性が高いことを示した。
• ×1 CAVIAR実験では、ウォームアップ段階でのより良い句評価が可能になったため、遅延した句の構築が減少し、F1スコアが向上した。
• 従来の単一ノードOLED環境で破棄されがちだった「過ぎた」句の構築問題を、本システムは効果的に緩和した。
• 一部の構成において、非線形的（超線形的）な高速化が達成されており、効果的な負荷分散と通信ボトルネックの最小化を示している。
• 句スコアと意思決定のみを送信する最小限の通信オーバーヘッドは、高速度で分散されたデータ環境への実用可能性を示している。