[논문 리뷰] Incremental Learning of Event Definitions with Inductive Logic Programming

Nikos Katzouris, Alexander Artikis외 1명|arXiv (Cornell University)|2014. 02. 24.

Logic, Reasoning, and Knowledge참고 문헌 10인용 수 5

한 줄 요약

이 논문은 이벤트 계산법 프로그램 형태의 이벤트 정의를 학습하고 수정하는 증분형 유도적 논리 프로그래밍 시스템인 ILED를 제시한다. 추론-유도 학습과 절 커버리지 요약 구조를 결합함으로써, ILED는 새로운 시간적 데이터가 도착함에 따라 가설을 효율적으로 수정하며, 다시 시작부터 재학습할 필요 없이 확장 가능한 단일 패assing 학습을 달성한다. 실제 활동 인식 및 교통 관리 데이터에서 XHAIL보다 유의하게 빠르며 예측 정확도를 유지함을 입증하였다.

ABSTRACT

Event recognition systems rely on properly engineered knowledge bases of event definitions to infer occurrences of events in time. The manual development of such knowledge is a tedious and error-prone task, thus event-based applications may benefit from automated knowledge construction techniques, such as Inductive Logic Programming (ILP), which combines machine learning with the declarative and formal semantics of First-Order Logic. However, learning temporal logical formalisms, which are typically utilized by logic-based Event Recognition systems is a challenging task, which most ILP systems cannot fully undertake. In addition, event-based data is usually massive and collected at different times and under various circumstances. Ideally, systems that learn from temporal data should be able to operate in an incremental mode, that is, revise prior constructed knowledge in the face of new evidence. Most ILP systems are batch learners, in the sense that in order to account for new evidence they have no alternative but to forget past knowledge and learn from scratch. Given the increased inherent complexity of ILP and the volumes of real-life temporal data, this results to algorithms that scale poorly. In this work we present an incremental method for learning and revising event-based knowledge, in the form of Event Calculus programs. The proposed algorithm relies on abductive-inductive learning and comprises a scalable clause refinement methodology, based on a compressive summarization of clause coverage in a stream of examples. We present an empirical evaluation of our approach on real and synthetic data from activity recognition and city transport applications.

연구 동기 및 목표

• 대규모 시간 구조화된 이벤트 데이터에서 학습할 때 기존 배치 ILP 시스템의 확장성 부족과 비효율성을 해결하기 위해.
• 새로운 증거에 대응하여 이벤트 정의를 증분적으로 수정함으로써 다시 시작부터 재학습하는 것을 방지하기 위해.
• 부족하거나 암시적인 이벤트 지식을 다룰 수 있도록 부정법으로서의 부정(Negation as Failure)과 비관측 기반 술어 학습을 지원함으로써 비단조화적 추론을 가능하게 하기 위해.
• 실제 시간적 응용 분야인 활동 인식 및 도시 교통 모니터링과 같은 분야에 적합한 확장 가능한 이론 수정 시스템을 개발하기 위해.
• 논리 기반 이벤트 인식 시스템에서 이벤트 정의를 학습하기 위해 추론을 ILP와 통합하기 위해.

제안 방법

• ILED는 추론-유도 학습을 사용하며, XHAIL의 유도적 편향과 추론을 조합하여 비관측 술어와 불완전한 지식을 다룰 수 있도록 한다.
• 절 커버리지의 요약 구조를 유지함으로써 예제 스트림에 대한 커버리지 개요를 제공하고, 이로 인해 이론 수정이 효율적으로 이루어지도록 한다.
• 절 개선은 커버리지 유지 및 수정 과정에서의 중복 계산 감소를 위해 지원 집합 기반으로 이뤄진다.
• 시스템은 새로운 데이터가 도착함에 따라 가설을 증분적으로 수정하는 단일 패assing 증분 학습 전략을 사용하며, 다시 시작부터 재학습하는 것이 아니라.
• 예제가 어떤 절에 의해 커버되는지 추적하기 위해 관계 스키마를 활용함으로써, 개선 과정에서 타겟된 재평가가 가능해진다.
• 이 접근법은 부정법으로서의 부정과 보조 절을 활용한 시공간 추론을 지원하는 Datalog 유사 논리 프로그램을 지원한다.

실험 결과

연구 질문

• RQ1 ILP 시스템은 스트리밍 형태의 시간 구조화된 데이터 환경에서 이벤트 정의를 효율적으로 학습하고 수정할 수 있는가?
• RQ2 비단조화적 논리와 부정법으로서의 부정은 증분 이론 수정과 어떻게 효과적으로 통합될 수 있는가?
• RQ3 절 커버리지의 요약 구조화가 증분 ILP에서 시간적 이벤트 인식에 있어 확장성에 얼마나 기여하는가?
• RQ4 추론은 비관측 또는 암시적인 이벤트 관련 술어 학습을 어떻게 향상시킬 수 있는가?
• RQ5 실제 시간적 데이터에서 증분 수정은 배치 학습에 비해 효율성, 정확도, 가설 크기 측면에서 어떻게 비교되는가?

주요 결과

• ILED는 대규모 시간적 데이터에서 XHAIL보다 유의미하게 높은 효율성을 달성하며, 데이터 양 증가에 따라 유연하게 확장 가능한 성능을 보였다.
• ILED는 증분 학습에도 불구하고 XHAIL와 유사한 예측 정확도와 가설 크기를 유지하며 품질을 손상시키지 않았다.
• 압축 메모리 구조 덕분에 단일 패assing 수정이 가능해졌으며, 지원 집합을 통한 이전 커버리지 유지로 인해 추론 비용이 감소하였다.
• ILED는 부정법으로서의 부정과 비관측 기반 술어 학습을 성공적으로 처리하여 대부분의 ILP 시스템의 한계를 극복하였다.
• 활동 인식 및 도시 교통 응용 분야에서의 실제 및 합성 데이터에 대한 실증 평가를 통해 확장성과 강건성을 확인하였다.
• 대규모 순차적 이벤트 스트림을 처리할 때 ILED는 런타임과 메모리 사용량 측면에서 XHAIL과 같은 배치 학습자들을 능가하였다.