[논문 리뷰] Low Size-Complexity Inductive Logic Programming: The East-West Challenge Considered as a Problem in Cost-Sensitive Classification

Peter D. Turney|ArXiv.org|2002. 12. 12.

Logic, Reasoning, and Knowledge참고 문헌 22인용 수 12

한 줄 요약

이 논문은 인덕티브 로직 프로그래밍(ILP)의 기준이 되는 '동서도전 과제'를 해결하기 위해 비용 민감한 분류 접근법을 제시한다. 이 과제는 압축된 Prolog 프로그램을 생성하여 기차를 분류하는 데 목적이 있다. 크기 복잡도를 비용 민감한 학습 문제로 재정의함으로써, 저자께서는 경쟁적인 성능을 달성한 새로운 분류기를 적용하여 대회에서 상을 수상하였으며, 비용 민감한 방법이 정확도를 유지하면서 프로그램 크기를 최소화하는 데 효과적임을 입증하였다.

ABSTRACT

The Inductive Logic Programming community has considered proof-complexity and model-complexity, but, until recently, size-complexity has received little attention. Recently a challenge was issued "to the international computing community" to discover low size-complexity Prolog programs for classifying trains. The challenge was based on a problem first proposed by Ryszard Michalski, 20 years ago. We interpreted the challenge as a problem in cost-sensitive classification and we applied a recently developed cost-sensitive classifier to the competition. Our algorithm was relatively successful (we won a prize). This paper presents our algorithm and analyzes the results of the competition.

연구 동기 및 목표

• 증명 복잡도나 모델 복잡도만큼 주목받지 못한 크기 복잡도 문제를 해결하기 위해.
• 원래 루이샤드 미하르스키에 의해 제안된 동서도전 과제를 압축된 프로그램 생성을 우선시하는 비용 민감한 분류 문제로 재정의하기 위해.
• 비용 민감한 분류기가 분류 정확도를 유지하면서 Prolog 프로그램의 크기를 최소화하는 데 얼마나 효과적인지 평가하기 위해.
• 최소한의 코드 크기를 강조하는 실용적이고 경쟁력 있는 ILP 과제 해결책을 기여하기 위해.

제안 방법

• 각 규칙의 크기(리터럴 수)에 비례하는 비용을 갖는 비용 민감한 분류 작업으로 동서도전 과제를 재구성하였다.
• 유도된 로직 프로그램의 총 비용(즉, 프로그램 크기)을 최소화하도록 설계된 최근 개발된 비용 민감한 학습 알고리즘을 적용하였다.
• 기능 기반으로 기차를 분류하는 규칙 집합을 학습하기 위해 레이블이 부여된 기차 인스턴스의 학습 세트를 사용하였으며, 더 큰 규칙에 대해 명시적인 벌점을 적용하였다.
• 규칙 크기를 직접적인 비용 지표로 간주하여, 더 작고 간결한 Prolog 프로그램을 우선시하는 방식으로 학습 과정을 최적화하였다.
• 비용 대 정확도 비율이 가장 낮은 규칙을 우선시함으로써 정확도와 크기의 균형을 이루는 그리디 규칙 기반 유도 전략을 활용하였다.

실험 결과

연구 질문

• RQ1 인덕티브 로직 프로그래밍에서 크기 복잡도 문제를 비용 민감한 분류 문제로 재정의함으로써 효과적으로 해결할 수 있는가?
• RQ2 비용 민감한 학습 접근법은 기존 ILP 방법과 비교해 동서도전 과제의 압축된 Prolog 프로그램 생성에 얼마나 효과적인가?
• RQ3 규칙 크기를 최소화함으로써 동서도전 과제에서 얼마나 경쟁적인 성능을 달성할 수 있는가?
• RQ4 학습 목표에 규칙 크기를 명시적으로 비용으로 모델링함으로써 어떤 영향을 미치는가?

주요 결과

• 제안된 비용 민감한 접근법은 동서도전 과제의 상위 입상 수준에 머무르는 저복잡도 복잡도 Prolog 프로그램을 성공적으로 생성하였다.
• 비용 민감한 학습을 통해 로직 프로그램의 크기를 명시적으로 최소화함으로써 경쟁적인 성능를 달성하였으며, 크기 최적화를 위한 비용 민감한 학습의 실현 가능성을 입증하였다.
• 알고리즘이 대회에서 상을 수상하여 실세계 ILP 벤치마크에서의 실용적 효과성을 확인하였다.
• 학습 목표에 프로그램 크기를 비용으로 명시적으로 모델링함으로써 표준 ILP 접근법에 비해 더 압축되고 효율적인 로직 프로그램을 도출할 수 있음을 결과가 보여주었다.