[논문 리뷰] Distributed Online Learning of Event Definitions

Nikos Katzouris, Alexander Artikis외 1명|arXiv (Cornell University)|2017. 05. 05.

Logic, Reasoning, and Knowledge참고 문헌 11인용 수 3

한 줄 요약

이 논문은 이벤트 계산법(Event Calculus)을 사용하여 이벤트 정의를 분산형 온라인 학습 시스템으로 제안하며, 단일 패assing OLED 알고리즘을 확장하여 데이터 스트림을 통해 병렬로 지리적으로 분산된 학습을 가능하게 한다. 서로 다른 데이터 파artitions에서 독립적으로 문장 특수화를 평가하고, Hoeffding 한계를 적용하여 점수를 효율적으로 통합함으로써, 상호작용 통신을 최소화하면서도 최대 3.8배의 속도 향상을 달성하며, 학습 시간을 크게 단축시키면서도 높은 F1-점수를 유지한다.

ABSTRACT

Logic-based event recognition systems infer occurrences of events in time using a set of event definitions in the form of first-order rules. The Event Calculus is a temporal logic that has been used as a basis in event recognition applications, providing among others, direct connections to machine learning, via Inductive Logic Programming (ILP). OLED is a recently proposed ILP system that learns event definitions in the form of Event Calculus theories, in a single pass over a data stream. In this work we present a version of OLED that allows for distributed, online learning. We evaluate our approach on a benchmark activity recognition dataset and show that we can significantly reduce training times, exchanging minimal information between processing nodes.

연구 동기 및 목표

• 고속도, 분산형 데이터 스트림에서 복잡한 이벤트 정의를 스케일러블하고 실시간으로 학습할 수 있도록 하는 것.
• 공유 메모리가 없는 환경에서 단일 패assing 온라인 ILP 시스템인 OLED를 분산형, 병렬 환경으로 확장하는 것.
• 학습 정확도를 유지하면서 처리 노드 간 통신 오버헤드를 최소화하는 것.
• 다양한 데이터 분포와 규모에서 벤치마크 활동 인식 데이터셋을 대상으로 접근법을 평가하는 것.
• 해양 모니터링과 같은 실제 지리적으로 분산된 도메인에 구현 가능한 것.

제안 방법

• 각 노드가 로컬 데이터 파artitions에서 Hoeffding 한계를 사용하여 후보 문장 특수화의 품질을 추정함으로써, 데이터 병렬 전략을 사용하여 독립적으로 평가한다.
• 각 노드의 문장 점수를 집계하여 글로벌 특수화 결정을 내리며, 원래 OLED 알고리즘의 온라인, 단일 패assing 성질을 유지한다.
• 가설에 포함되기 전에 충분한 예시에서 문장을 평가할 수 있도록 웜업 기간을 유지한다.
• 이벤트 정의와 플루언트를 표현하기 위한 논리적 프레임워크로 이벤트 계산법을 활용하며, 초기화된At 및 종료된At 술어에 대한 도메인 특화 공리(axioms)를 적용한다.
• 반복적인 세트 커버 루프를 피하고, 통계적 신뢰도 구간에 기반한 점진적 상향식 문장 특수화에 의존한다.
• 원시 데이터나 전체 가설을 교환하지 않고, 문장 점수와 결론만 교환함으로써 통신을 최소화한다.

실험 결과

연구 질문

• RQ1 고속도, 지리적으로 분리된 데이터 스트림에서 온라인, 단일 패assing ILP 학습이 효과적으로 병렬화될 수 있는가?
• RQ2 학습 정확도와 수렴성을 유지하면서 분산형 온라인 학습에서 최소한의 노드 간 통신을 어떻게 달성할 수 있는가?
• RQ3 대규모 데이터 스트림에서 순차적 학습 대비 분산형 OLED 접근법이 학습 시간을 얼마나 줄이는가?
• RQ4 분산형 시스템이 원래 단일 노드 OLED 알고리즘의 F1-점수와 가설 품질을 유지하는가?
• RQ5 데이터 반복(예: ×10 CAVIAR)은 분산형 온라인 학습에서 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• ×10 CAVIAR 실험에서 분산형 OLED 시스템은 학습 시간을 최대 3.8배 빠르게 하여 뛰어난 확장성을 입증했다.
• ×10 CAVIAR 실험에서 모든 코어 수에서 F1-점수가 일관되게 유지되어 안정적이고 신뢰할 수 있는 학습 성능을 보였다.
• ×1 CAVIAR 실험에서는 더 큰 데이터 크기 덕분에 웜업 단계에서 더 나은 문장 평가가 가능해져 후행 문장 생성이 감소하여 F1-점수가 향상되었다.
• 이전에 단일 노드 OLED 환경에서 기각당하던 '너무 늦은' 문장 생성 문제를 성공적으로 완화했다.
• 일부 구성에서 초선형(super-linear) 속도 향상을 달성하여 효과적인 로드 분배와 최소한의 통신 병목 현상을 보였다.
• 문장 점수와 결정만 교환하는 최소한의 통신 오버헤드가 고속도, 분산형 데이터 환경에서의 구현 가능성을 입증했다.