[論文レビュー] Low Size-Complexity Inductive Logic Programming: The East-West Challenge Considered as a Problem in Cost-Sensitive Classification

Peter D. Turney|ArXiv.org|Dec 12, 2002

Logic, Reasoning, and Knowledge参考文献 22被引用数 12

ひとこと要約

本論文は、列車を分類するためのコン act な Prolog プログラムを生成するベンチマークである帰納論理プログラミング（ILP）における東西チャレンジを解決するコストセンシティブ分類アプローチを提示する。サイズの複雑さをコストセンシティブ学習問題として定式化することで、著者は競争的な結果を達成した新規分類器を適用し、コンテストで賞を受賞し、サイズ最小化を維持したまま精度を保つコストセンシティブ手法の有効性を示した。

ABSTRACT

The Inductive Logic Programming community has considered proof-complexity and model-complexity, but, until recently, size-complexity has received little attention. Recently a challenge was issued "to the international computing community" to discover low size-complexity Prolog programs for classifying trains. The challenge was based on a problem first proposed by Ryszard Michalski, 20 years ago. We interpreted the challenge as a problem in cost-sensitive classification and we applied a recently developed cost-sensitive classifier to the competition. Our algorithm was relatively successful (we won a prize). This paper presents our algorithm and analyzes the results of the competition.

研究の動機と目的

• 証明複雑度やモデル複雑度ほど注目されていなかったサイズ複雑度という未解決の問題に取り組むこと。
• リツァル・ミハルスキーによって当初提唱された東西チャレンジを、コンパクトなプログラム生成を優先するコストセンシティブ分類問題として再定式化すること。
• コストセンシティブ分類器の有効性を、分類精度を維持したまま Prolog プログラムのサイズを最小化する観点から評価すること。
• 最小コードサイズを重視する実用的で競争力のある ILP チャレンジへのソリューションを貢献すること。

提案手法

• 各ルールのコストをそのサイズ（リテラル数）に比例するように、東西チャレンジをコストセンシティブ分類タスクに再定式化した。
• 誘導された論理プログラムの総コスト（つまり、プログラムサイズ）を最小化することを目的とした最近開発されたコストセンシティブ学習アルゴリズムを適用した。
• ラベル付き列車インスタンスのトレーニングセットを用いて、特徴に基づいて列車を分類するルールの集合を学習し、より大きなルールに対して明示的なペナルティを課した。
• ルールサイズを直接のコスト指標として扱い、より小さい、より簡潔な Prolog プログラムを優先するように学習プロセスを最適化した。
• コスト対精度比が最小となるルールを優先することで、精度とサイズのバランスを取るグリーディなルールベースの誘導戦略を採用した。

実験結果

リサーチクエスチョン

• RQ1 帰納論理プログラミングにおけるサイズ複雑度は、コストセンシティブ分類問題として再定式化することで効果的に取り扱えるか？
• RQ2 コストセンシティブ学習アプローチは、東西チャレンジにおけるコンパクトな Prolog プログラムを生成する際、従来の ILP メソッドと比較してどのように異なるか？
• RQ3 ルールサイズの最小化が、東西チャレンジにおいてどの程度の競争力のあるパフォーマンスをもたらすか？
• RQ4 学習目的関数にルールサイズを明示的にコストとしてモデル化した場合、どのような影響が生じるか？

主な発見

• 提案されたコストセンシティブアプローチは、東西チャレンジの上位エントリに位置する低サイズ複雑度の Prolog プログラムを効果的に生成した。
• 明示的に論理プログラムのサイズを最小化することで、コストセンシティブ学習がサイズ最適化に有効であることを示した。
• アルゴリズムはコンテストで賞を受賞し、実世界の ILPベンチマークにおいて実用的効果を確認した。
• 学習目的関数にプログラムサイズをコストとして明示的に組み込むことで、標準的な ILP アプローチと比較して、よりコンパクトで効率的な論理プログラムが得られることを示した。