[論文レビュー] Incremental Learning of Event Definitions with Inductive Logic Programming

Nikos Katzouris, Alexander Artikis+1 more|arXiv (Cornell University)|Feb 24, 2014

Logic, Reasoning, and Knowledge参考文献 10被引用数 5

ひとこと要約

本論文では、イベント計算プログラムの形でイベント定義を学習・修正するインクリメンタルな帰納的論理プログラミング（ILP）システム、ILEDを提示する。帰納的・帰因的学習を組み合わせ、句カバレッジの圧縮記憶構造を用いることで、新規の時系列データが到着するたびに仮説を効率的に修正し、再訓練を再び行わずにスケーラブルでワンパスの学習を実現する。実世界の行動認識および交通管理データにおいて、XHAILよりも著しく高速であることが実証された。

ABSTRACT

Event recognition systems rely on properly engineered knowledge bases of event definitions to infer occurrences of events in time. The manual development of such knowledge is a tedious and error-prone task, thus event-based applications may benefit from automated knowledge construction techniques, such as Inductive Logic Programming (ILP), which combines machine learning with the declarative and formal semantics of First-Order Logic. However, learning temporal logical formalisms, which are typically utilized by logic-based Event Recognition systems is a challenging task, which most ILP systems cannot fully undertake. In addition, event-based data is usually massive and collected at different times and under various circumstances. Ideally, systems that learn from temporal data should be able to operate in an incremental mode, that is, revise prior constructed knowledge in the face of new evidence. Most ILP systems are batch learners, in the sense that in order to account for new evidence they have no alternative but to forget past knowledge and learn from scratch. Given the increased inherent complexity of ILP and the volumes of real-life temporal data, this results to algorithms that scale poorly. In this work we present an incremental method for learning and revising event-based knowledge, in the form of Event Calculus programs. The proposed algorithm relies on abductive-inductive learning and comprises a scalable clause refinement methodology, based on a compressive summarization of clause coverage in a stream of examples. We present an empirical evaluation of our approach on real and synthetic data from activity recognition and city transport applications.

研究の動機と目的

• 大規模で時系列構造を持つイベントデータから学習する際のバッチILPシステムのスケーラビリティおよび非効率性を解消すること。
• 再訓練を再び行わずに、新たな証拠に応じてイベント定義をインクリメンタルに修正できることを可能にすること。
• 不完全または暗黙のイベント知識に対処するため、失敗としての否定（Negation as Failure）と非観察的述語学習をサポートする非単調論理を実現すること。
• 実世界の時系列応用、たとえば行動認識や都市交通監視にスケーラブルに適用可能な理論修正システムを開発すること。
• 論理ベースのイベント認識システムにおけるイベント定義の学習に、帰因的推論をILPと統合すること。

提案手法

• ILEDは帰因的・帰納的学習を用い、XHAILの帰納的バイアスに加え、非観察的述語や不完全な知識に対処するための帰因的推論を統合する。
• 句カバレッジの要約を保持する圧縮記憶構造を維持することで、理論の効率的修正を可能にする。
• 句の精錬は、例のサポート集合によって誘導され、過去のカバレッジを保持し、修正時の冗長な計算を削減する。
• 新規データが到着するたびに仮説を段階的に修正するワンパスでインクリメンタルな学習戦略を採用し、再訓練を回避する。
• どの例がどの句によってカバーされているかを追跡する関係スキーマを活用することで、精錬時の的を絞った再評価が可能になる。
• 失敗としての否定と補助句による空間的・時間的推論を可能にするDatalogに類似した論理プログラムをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ILPシステムは、ストリーミングで時系列構造を持つデータ環境において、イベント定義を効率的に学習・修正できるか？
• RQ2 失敗としての否定を用いた非単調論理を、ILPにおけるインクリメンタル理論修正と効果的に統合できるか？
• RQ3 句カバレッジの圧縮要約は、時系列イベント認識におけるインクリメンタルILPのスケーラビリティをどの程度向上できるか？
• RQ4 帰因的推論は、ILPにおける非観察的または暗黙のイベント関連述語の学習を強化できるか？
• RQ5 実世界の時系列データにおいて、インクリメンタルな修正とバッチ学習を比較した場合、実行時間、メモリ使用量、仮説サイズという観点で、それぞれの効率性、正確性、スケールにどのような差が生じるか？

主な発見

• ILEDは、大規模な時系列データにおいてXHAILよりも著しく高い効率性を達成し、データ量に応じて扱いやすい速度で性能が向上する。
• ILEDは、インクリメンタル学習であるにもかかわらず、XHAILと同等の予測精度と仮説サイズを維持しており、品質に妥協がない。
• 圧縮記憶構造によりワンパスでの修正が可能となり、サポート集合による過去のカバレッジの保持によって推論コストが削減された。
• ILEDは、失敗としての否定と非観察的述語学習を効果的に処理し、大多数のILPシステムに見られる制限を克服した。
• 行動認識および都市交通アプリケーションからの実データおよび合成データを用いた実験的評価により、スケーラビリティと頑健性が確認された。
• 大規模で順次的なイベントストリームを処理する際、ILEDはXHAILのようなバッチ学習者よりも実行時間とメモリ使用量の点で優れていた。