[論文レビュー] Scaling Up Inductive Logic Programming by Learning from Interpretations

Hendrik Blockeel, Luc De Raedt+2 more|ArXiv.org|Nov 29, 2000

Data Mining Algorithms and Applications参考文献 26被引用数 7

ひとこと要約

本論文は、『解釈からの学習』フレームワークを採用することで、インダクティブ論理プログラミング（ILP）のスケーリングを提案する。このフレームワークにより、グローバルでデータベース集約的なチェックではなく、個々の例に対して局所的かつ独立したカバレッジテストが可能になる。Tilde ILPシステムの2バージョン——Tilde classic（メモリ内）とTilde LDS（ストリーミング）——を実装することで、100,000例（100 MB）まで線形スケーリングを達成することを示し、ILPが大規模なデータマイニングワークロードを処理できることを証明するとともに、論理的表現力も保持していることを示している。

ABSTRACT

When comparing inductive logic programming (ILP) and attribute-value learning techniques, there is a trade-off between expressive power and efficiency. Inductive logic programming techniques are typically more expressive but also less efficient. Therefore, the data sets handled by current inductive logic programming systems are small according to general standards within the data mining community. The main source of inefficiency lies in the assumption that several examples may be related to each other, so they cannot be handled independently. Within the learning from interpretations framework for inductive logic programming this assumption is unnecessary, which allows to scale up existing ILP algorithms. In this paper we explain this learning setting in the context of relational databases. We relate the setting to propositional data mining and to the classical ILP setting, and show that learning from interpretations corresponds to learning from multiple relations and thus extends the expressiveness of propositional learning, while maintaining its efficiency to a large extent (which is not the case in the classical ILP setting). As a case study, we present two alternative implementations of the ILP system Tilde (Top-down Induction of Logical DEcision trees): Tilde-classic, which loads all data in main memory, and Tilde-LDS, which loads the examples one by one. We experimentally compare the implementations, showing Tilde-LDS can handle large data sets (in the order of 100,000 examples or 100 MB) and indeed scales up linearly in the number of examples.

研究の動機と目的

• 古典的インダクティブ論理プログラミング（ILP）システムが、大規模データセットで高い計算コストを伴い、グローバルなカバレッジテストに起因するスケーラビリティの限界に直面している問題に対処すること。
• 解釈からの学習フレームワークが、例の評価を分離することで、大規模な関係データベースの効率的かつ線形時間処理を可能にすることを示すこと。
• Tilde classic（メモリ内）とTilde LDS（ストリーミング）の2バージョンのTilde ILPシステムを実装し、スケーラビリティとパフォーマンスを比較・実証すること。
• 解釈からの学習パラダイムを用いることで、命題的データマイニング技術を関係的・一階論理的設定に効果的に昇格させられることを示すこと。
• ILPシステムが現代のデータマイニング基準を満たすことができ、100,000例以上のデータセットを処理できることを確立すること。

提案手法

• 各例を独立したデータベースとして扱う『解釈からの学習』設定を採用し、グローバルなテストではなく局所的なカバレッジテストを可能にする。
• Tilde LDSを設計し、例を1つずつ読み込んで処理することで、アウト・オブ・コア処理を可能にし、メモリオーバーヘッドを低減する。
• Mehtaら（1996）のアイデアを基にしたレベルワイズ学習戦略を採用し、一階論理に適応することで、効率的な意思決定木の導出を実現する。
• 関係データベースエンジンを用いたクエリベースのカバレッジテストを実装するが、各例ごとに分離することでグローバルな状態依存性を回避する。
• 『解釈からの学習』フレームワークを介して、命題的データマイニング技術（例：レベルワイズアルゴリズム）を一階論理設定に拡張する。
• 大規模な合成データおよび実世界のデータセットを用いて、Tilde classicとTilde LDSの両方をベンチマークし、スケーラビリティとパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 インダクティブ論理プログラミングは、100,000例以上のデータセット、すなわち現代のデータマイニング基準に相当する大規模データセットを処理できるようにスケーリング可能だろうか？
• RQ2 解釈からの学習フレームワークにより、例の処理を分離することで、ILPにおける線形スケーリングが達成可能だろうか？
• RQ3 ストリーミングILPシステム（Tilde LDS）と従来のメモリ内ILPシステム（Tilde classic）とを比較した場合、大規模な関係データに対して、パフォーマンスにどのような差が生じるだろうか？
• RQ4 命題的データマイニング技術は、『解釈からの学習』設定を用いることで、どの程度一階論理設定に適応可能だろうか？
• RQ5 論理的表現力を維持しつつ、命題的学習の効率性を達成することは可能だろうか？

主な発見

• Tilde LDSは100,000例（約100 MB）のデータセットまでスケーリングに成功し、ILPが大規模なデータマイニングワークロードを処理できることを示している。
• 例の数に対して線形スケーリングを示しており、局所的カバレッジテストが効率的かつアウト・オブ・コア処理を可能にしていることを確認している。
• Tilde LDSは、主記憶領域に収まらないデータに対して特に顕著に、Tilde classicよりもメモリ効率とスケーラビリティに優れている。
• 解釈からの学習フレームワークにより、命題的データマイニング技術を一階論理設定に再利用可能となり、命題的学習とILP手法の間のギャップを埋めている。
• 古典的ILPにおけるグローバルカバレッジテストが主要なボトル neck であることが実証され、それらを局所的テストに置き換えることでスケーラビリティが著しく向上することが示された。
• 本アプローチは、複数の関係からの学習をサポートしており、命題的学習の表現力を拡張しつつ、計算効率を維持している。