[논문 리뷰] Scaling Up Inductive Logic Programming by Learning from Interpretations

Hendrik Blockeel, Luc De Raedt외 2명|ArXiv.org|2000. 11. 29.

Data Mining Algorithms and Applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 '의미 해석에서 학습' 프레임워크를 채택하여 인덕티브 로직 프로그래밍(ILP)을 확장함으로써, 전역적이고 데이터베이스 기반의 검사 대신 각 예제에 대해 국소적이고 독립적인 커버리지 테스트를 가능하게 함으로써, ILP의 확장성을 높이고자 한다. Tilde ILP 시스템의 두 가지 버전—Tilde classic(메모리 기반)과 Tilde LDS(스트리밍)—을 구현함으로써, 100,000개의 예제(약 100 MB)까지 선형 확장성을 입증함으로써, ILP가 대규모 데이터 마이닝 워크로드를 처리할 수 있으며 동시에 논리적 표현력을 유지할 수 있음을 보여준다.

ABSTRACT

When comparing inductive logic programming (ILP) and attribute-value learning techniques, there is a trade-off between expressive power and efficiency. Inductive logic programming techniques are typically more expressive but also less efficient. Therefore, the data sets handled by current inductive logic programming systems are small according to general standards within the data mining community. The main source of inefficiency lies in the assumption that several examples may be related to each other, so they cannot be handled independently. Within the learning from interpretations framework for inductive logic programming this assumption is unnecessary, which allows to scale up existing ILP algorithms. In this paper we explain this learning setting in the context of relational databases. We relate the setting to propositional data mining and to the classical ILP setting, and show that learning from interpretations corresponds to learning from multiple relations and thus extends the expressiveness of propositional learning, while maintaining its efficiency to a large extent (which is not the case in the classical ILP setting). As a case study, we present two alternative implementations of the ILP system Tilde (Top-down Induction of Logical DEcision trees): Tilde-classic, which loads all data in main memory, and Tilde-LDS, which loads the examples one by one. We experimentally compare the implementations, showing Tilde-LDS can handle large data sets (in the order of 100,000 examples or 100 MB) and indeed scales up linearly in the number of examples.

연구 동기 및 목표

• 기존 인덕티브 로직 프로그래밍(ILP) 시스템의 확장성 한계를 해결하기 위해, 대규모 데이터셋에서 전역적 커버리지 테스트와 높은 계산 비용으로 인해 발생하는 문제를 해결하고자 한다.
• 의미 해석에서 학습 프레임워크가 예제 평가를 분리함으로써, 대규모 관계형 데이터베이스를 효율적으로 선형 시간 내에 처리할 수 있음을 입증하고자 한다.
• Tilde classic(메모리 기반)과 Tilde LDS(스트리밍)라는 두 가지 버전의 Tilde ILP 시스템을 구현하고, 확장성과 성능을 비교하기 위해 실증적으로 검증하고자 한다.
• 의미 해석에서 학습 프레임워크를 활용해, 문맥 기반 데이터 마이닝 기법을 관계적이고 일阶논리적 환경으로 효과적으로 업그레이드할 수 있음을 보여주고자 한다.
• ILP 시스템이 이제 현대적 데이터 마이닝의 기준을 충족시킬 수 있음을 입증하고자 하며, 100,000개 이상의 예제를 처리할 수 있도록 하고자 한다.

제안 방법

• 각 예제를 독립적인 데이터베이스로 간주함으로써, 전역적 검사 대신 국소적 커버리지 테스트를 가능하게 하는 '의미 해석에서 학습' 설정을 채택한다.
• Tilde LDS를 설계하여 예제를 한 개씩 로드하고 처리함으로써, 외부 메모리 처리를 가능하게 하고 메모리 오버헤드를 감소시킨다.
• Mehta 등(1996)의 접근 방식을 영감으로 삼은 레벨 와이즈 학습 전략을 도입하여, 첫째 순서 논리에 적합하게 조정함으로써 효율적인 결정 트리 유도를 실현한다.
• 관계형 데이터베이스 엔진을 사용한 쿼리 기반 커버리지 테스트를 구현하지만, 각 예제마다 독립적으로 처리함으로써 전역 상태 의존성을 제거한다.
• 의미 해석에서 학습 프레임워크를 통해, 문맥 기반 데이터 마이닝 기법(예: 레벨 와이즈 알고리즘)을 일阶논리 환경으로 확장한다.
• 대규모 합성 및 실제 세계 데이터셋에서 Tilde classic과 Tilde LDS를 벤치마킹하여 확장성과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 인덕티브 로직 프로그래밍은 100,000개 이상의 예제를 포함하는 대규모 데이터셋을 현대적 데이터 마이닝 표준 수준에서 처리할 수 있는가?
• RQ2 의미 해석에서 학습 프레임워크는 예제 처리를 분리함으로써 ILP의 선형 확장성을 가능하게 하는가?
• RQ3 스트리밍 ILP 시스템(Tilde LDS)의 성능이 대규모 관계형 데이터에서 기존 메모리 기반 ILP 시스템(Tilde classic)과 비교해 어떻게 다른가?
• RQ4 의미 해석에서 학습 설정을 통해 문맥 기반 데이터 마이닝 기법을 일阶논리 환경에 얼마나 효과적으로 적응시킬 수 있는가?
• RQ5 전역 커버리지 테스트를 제거하고 국소 테스트로 대체함으로써, 논리적 표현력을 유지하면서도 문맥 학습의 효율성을 확보하는 것이 가능한가?

주요 결과

• Tilde LDS는 100,000개의 예제(약 100 MB)까지 성공적으로 확장되며, ILP가 대규모 데이터 마이닝 워크로드를 처리할 수 있음을 입증한다.
• 시스템은 예제 수에 대해 선형 확장성을 보이며, 국소 커버리지 테스트가 효율적인 외부 메모리 처리를 가능하게 함을 확인한다.
• 메모리에 모든 데이터를 올릴 수 없는 경우에 특히 Tilde LDS가 Tilde classic보다 메모리 효율성과 확장성에서 뛰어나다.
• 의미 해석에서 학습 프레임워크는 문맥 기반 데이터 마이닝 기법을 일阶논리 환경에서 재사용할 수 있도록 하여, 문맥 기반 기법과 ILP 기법 간 격차를 메운다.
• 기존 ILP에서 전역 커버리지 테스트가 주요 성능 저하 요인임을 입증하였으며, 이를 국소 테스트로 대체함으로써 확장성 향상이 뚜렷하게 이루어짐을 확인하였다.
• 이러한 접근은 다수의 관계에서의 학습을 지원하며, 문맥 학습의 표현력을 확장하면서도 계산 효율성을 유지한다.