[논문 리뷰] Inductive Learning of Answer Set Programs from Noisy Examples

Mark Law, Alessandra Russo외 1명|arXiv (Cornell University)|2018. 08. 25.

Logic, Reasoning, and Knowledge참고 문헌 22인용 수 19

한 줄 요약

이 논문은 ILP_LOAS^noise를 소개하며, 불완전한 데이터를 다룰 수 있도록 ILASP3 시스템을 확장한 노이즈 내성 프레임워크를 제안한다. 이는 노이즈가 포함된 예시들로부터 Answer Set Programs(ASPs)를 학습하는 데에 사용되며, 20%의 노이즈가 포함된 경우에도 90% 이상의 높은 정확도를 달성한다. 기존의 ILP 시스템들과는 달리 노이즈 수준에 대한 사전 지식 없이도 비용 함수를 통해 최적의 해를 보장함으로써 성능을 뛰어나게 한다.

ABSTRACT

In recent years, non-monotonic Inductive Logic Programming has received growing interest. Specifically, several new learning frameworks and algorithms have been introduced for learning under the answer set semantics, allowing the learning of common-sense knowledge involving defaults and exceptions, which are essential aspects of human reasoning. In this paper, we present a noise-tolerant generalisation of the learning from answer sets framework. We evaluate our ILASP3 system, both on synthetic and on real datasets, represented in the new framework. In particular, we show that on many of the datasets ILASP3 achieves a higher accuracy than other ILP systems that have previously been applied to the datasets, including a recently proposed differentiable learning framework.

연구 동기 및 목표

• 인지 시스템에서 노이즈가 포함된 실생활 데이터로부터 해석 가능하고 인간이 이해할 수 있는 지식을 학습하는 데 도전하는 것.
• 기본값, 예외 및 선호도를 포함한 비단조화적 지식을 학습할 수 있는 능력을 유지하면서, 노이즈가 포함된 예시들을 처리할 수 있도록 ILASP 프레임워크를 확장하는 것.
• 데이터의 노이즈 수준에 대한 사전 지식 없이도 최적의 해를 보장하는 시스템을 개발하는 것.
• 다양한 노이즈 조건에서 합성 및 실생활 데이터셋에 대해 ILASP3의 성능을 평가하는 것.
• 최적의 가설 탐색이 비최적화 ILP 시스템보다 더 높은 정확도를 이끌어내는지 입증하는 것.

제안 방법

• 노이즈가 포함된 예시들을 처리하기 위해 Answer Set 기반 학습(LAS) 프레임워크의 일반화로 ILP_LOAS^noise를 제안하며, 커버리지와 가설 복잡도를 균형 잡는 비용 함수를 통합한다.
• 예시 커버리지와 가설 길이를 조합한 비용 함수를 사용하여 최적의 가설을 탐색하는 데 지도하며, 사전 정의된 노이즈 임계값이 필요로 하지 않는다.
• 모든 가능한 가설을 사전에 계산하는 가설 공간 생성 전략을 활용하여 최적의 해를 위한 완전 탐색을 가능하게 한다.
• 합성(해밀토니안, 여정 선호도) 및 실생활(이벤트 이론, 문장 청크링, 선호도 학습) 데이터셋에 대해 노이즈 수준을 제어한 데이터셋에서 ILASP3 시스템을 적용하여 ASP 프로그램을 학습한다.
• 일부 예시가 잘못 레이블링되어 있어도 대부분의 예시를 커버하면서 복잡도를 최소화할 수 있도록 하는 노이즈 내성 학습 전략을 도입한다.
• 부정이 실패로 간주되는 Answer Set 의미론을 활용하여 비단조화적 지식(기본값, 예외 포함)을 표현하고 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 노이즈가 포함된 데이터셋에서 최대 20%의 잘못 레이블링된 예시가 있는 경우, 노이즈 내성 ILP 시스템은 높은 정확도를 달성할 수 있는 ASP 프로그램을 학습할 수 있는가?
• RQ2 비용 함수를 통한 최적의 해 탐색 보장이 비최적화 ILP 시스템보다 노이즈가 포함된 데이터에서 정확도를 향상시키는가?
• RQ3 실생활 데이터셋에서 ILASP3는 기존의 ILP 시스템, 특히 미분 가능한 학습 프레임워크와 비교해 어떻게 성능을 발휘하는가?
• RQ4 노이즈 수준에 대한 사전 추정 없이도, 기본값, 예외 및 선호도를 포함한 복잡한 지식을 노이즈가 포함된 예시들로부터 학습할 수 있는가?
• RQ5 가설 공간 크기가 확장성에 미치는 영향은 무엇이며, 향후 시스템은 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• 합성 데이터셋인 해밀토니안 및 여정 선호도 데이터셋에서, ILASP3는 20%의 잘못 레이블링된 예시가 있는 상황에서도 90% 이상의 정확도를 달성했다.
• 이벤트 이론, 문장 청크링, 선호도 학습과 같은 실생활 데이터셋에서 ILASP3는 다른 ILP 시스템, 특히 최근에 제안된 미분 가능한 학습 프레임워크를 능가하는 성능을 보였다.
• 비용 함수 기반 최적화를 통해 비최적화 ILP 시스템보다 일관되게 더 높은 정확도를 달성했으며, 이는 비용 함수 기반 최적의 해를 보장하기 때문이다.
• ILASP3는 노이즈 수준에 대한 사전 지식이 필요로 하지 않으며, 이는 노이즈 비율을 입력으로 요구하는 HYPER/N과 같은 시스템과는 다르다.
• 개선된 성능에도 불구하고, 대규모 또는 복잡한 문제에서는 초기에 전체 가설 공간을 계산함으로써 확장성에 한계가 존재한다.
• 결과적으로, 비용 함수 기반 최적화가 최적의 가설이 항상 새로운 데이터에 완벽하게 일반화되지는 않더라도, 더 나은 일반화와 더 높은 정확도를 이끌어내는 데 기여한다.