[논문 리뷰] Knowledge Refactoring for Program Induction

Sebastijan Dumančić, Andrew Cropper|arXiv (Cornell University)|2020. 04. 21.

Natural Language Processing Techniques참고 문헌 28인용 수 2

한 줄 요약

이 논문은 지식 재구성 기법을 도입하여 논리 프로그램을 재구조화해 크기와 중복을 줄임으로써 기계 학습의 효율성을 향상시킨다. Knorf라고 불리는 제약 최적화 시스템을 사용해, 문자열 변환 및 레고 조립 작업에서 예측 정확도를 4배로 높이고 학습 시간을 50% 감소시켰다.

ABSTRACT

Humans constantly restructure knowledge to use it more efficiently. Our goal is to give a machine learning system similar abilities so that it can learn more efficiently. We introduce the extit{knowledge refactoring} problem, where the goal is to restructure a learner's knowledge base to reduce its size and to minimise redundancy in it. We focus on inductive logic programming, where the knowledge base is a logic program. We introduce Knorf, a system which solves the refactoring problem using constraint optimisation. We evaluate our approach on two program induction domains: real-world string transformations and building Lego structures. Our experiments show that learning from refactored knowledge can improve predictive accuracies fourfold and reduce learning times by half.

연구 동기 및 목표

• 기계 학습 시스템이 인간이 지식을 재구조화하는 방식과 유사하게 지식을 재구성함으로써 학습 효율을 향상시키기.
• 인덕티브 논리 프로그래밍에서 사용되는 논리 프로그램 지식 기반의 중복과 과도한 부피 문제를 해결하기.
• 지식을 자동으로 재구성하여 크기를 최소화하고 학습 성능을 최대화하는 시스템을 개발하기.
• 실제 프로그램 유도 작업에서 재구성된 지식이 예측 정확도와 학습 속도에 미치는 영향을 평가하기.

제안 방법

• 논문은 논리 프로그램의 중복과 크기를 최소화하기 위해 지식 재구성을 제약 최적화 문제로 공식화한다.
• 제안된 시스템인 Knorf는 제약 해결 기법을 사용해 논리 프로그램을 더 컴act하고 효율적인 형태로 재구성한다.
• 이 접근법은 지식이 논리 프로그램으로 표현되는 인덕티브 논리 프로그래밍(ILP)에 집중한다.
• 재구성은 중복된 절을 식별하고 통합하며, 논리 표현식을 단순화하고 불필요한 술어를 제거하는 것을 포함한다.
• 재구성된 지식 기반의 압축성과 표현력의 균형을 유지하기 위해 최적화 기법을 적용한다.
• 평가가 두 도메인에서 수행되었으며, 실세계의 문자열 변환과 레고 구조물 구축을 대상으로 하였다.

실험 결과

연구 질문

• RQ1 논리 프로그램의 지식 기반을 재구성함으로써 크기와 중복을 줄일 수 있으며, 예측 성능은 유지 또는 향상시킬 수 있는가?
• RQ2 지식 재구성이 프로그램 유도 작업에서 학습 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 제약 최적화 기법을 사용해 자동으로 논리 프로그램을 재구성하여 학습 효율을 향상시킬 수 있는가?
• RQ4 재구성된 지식은 실세계의 프로그램 유도 시나리오에서 더 나은 일반화 성능을 이끌어낼 수 있는가?

주요 결과

• 재구성된 지식에서 학습함으로써 예측 정확도가 기존의 재구성되지 않은 지식에서 학습한 경우에 비해 최대 4배로 향상되었다.
• 재구성된 지식 기반을 사용할 경우 학습 시간이 약 50% 감소하였다.
• Knorf 시스템은 문자열 변환 및 레고 조립 작업 모두에서 중복을 효과적으로 줄이고 논리 프로그램의 크기를 감소시켰다.
• 성능 향상은 테스트된 두 가지 실세계 프로그램 유도 도메인에서 일관되게 나타났다.
• 제약 최적화 기법이 효율적인 학습에 적합한 컴팩트하고 고품질의 논리 프로그램 표현을 생성하는 데 효과적임을 입증하였다.
• 재구성된 지식은 인덕티브 논리 프로그래밍 작업에서 더 빠른 수렴과 높은 정확도를 가능하게 하였다.