[논문 리뷰] A Layered Learning Approach to Scaling in Learning Classifier Systems for Boolean Problems

Isidro M. Alvarez, Trung B. Nguyen외 2명|arXiv (Cornell University)|2020. 06. 02.

Evolutionary Algorithms and Applications참고 문헌 28인용 수 4

한 줄 요약

이 논문은 전이 학습을 통해 학습된 코드 조각(CFs)과 기능적 빌딩 블록을 재사용함으로써, 여러 개의 부울 문제 도메인에 걸쳐 확장 가능한 학습 분류기 시스템(LCS)을 가능하게 하는 향상된 계층적 학습 접근법 XCSCF*를 제안한다. 복잡한 문제를 계층적 하위 문제로 분해하고, 유형 안정성과 일반적인 기능 함수를 통합함으로써, 작업에 특화된 하드코딩 없이 n비트 멀티플렉서, 캐리온, 메이저리티온, 이ven-패리티 문제에 대해 압축되고 해석 가능한 해를 학습한다.

ABSTRACT

Learning classifier systems (LCSs) originated from cognitive-science research but migrated such that LCS became powerful classification techniques. Modern LCSs can be used to extract building blocks of knowledge to solve more difficult problems in the same or a related domain. Recent works on LCSs showed that the knowledge reuse through the adoption of Code Fragments, GP-like tree-based programs, into LCSs could provide advances in scaling. However, since solving hard problems often requires constructing high-level building blocks, which also results in an intractable search space, a limit of scaling will eventually be reached. Inspired by human problem-solving abilities, XCSCF* can reuse learned knowledge and learned functionality to scale to complex problems by transferring them from simpler problems using layered learning. However, this method was unrefined and suited to only the Multiplexer problem domain. In this paper, we propose improvements to XCSCF* to enable it to be robust across multiple problem domains. This is demonstrated on the benchmarks Multiplexer, Carry-one, Majority-on, and Even-parity domains. The required base axioms necessary for learning are proposed, methods for transfer learning in LCSs developed and learning recast as a decomposition into a series of subordinate problems. Results show that from a conventional tabula rasa, with only a vague notion of what subordinate problems might be relevant, it is possible to capture the general logic behind the tested domains, so the advanced system is capable of solving any individual n-bit Multiplexer, n-bit Carry-one, n-bit Majority-on, or n-bit Even-parity problem.

연구 동기 및 목표

• 기존 학습 분류기 시스템(LCS)이 대규모 부울 문제를 해결할 때 겪는 확장성 한계를 해결하기 위해.
• XCSCF* 프레임워크를 멀티플렉서 도메인을 초월하여 다양한 이질적인 부울 문제 도메인을 지원하도록 확장하기 위해.
• 하위 문제 간에 기능적 빌딩 블록(코드 조각)의 전이 학습을 통해 검색 공간을 줄이고 해의 압축성을 향상시키기 위해.
• 문제 크기에 대한 하드코딩 없이도 가변 크기 문제 해결을 지원하는 일반적이고 확장 가능한 프레임워크를 개발하기 위해.
• 중간 단계에서 재사용 가능한 기능적 구성 요소를 통해 해를 체계화하여 가독성을 향상시키기 위해.

제안 방법

• 복잡한 부울 문제를 점진적으로 더 복잡한 하위 문제의 계층으로 분해하여 계층적 학습을 가능하게 하기 위해.
• 고정 크기 상수를 대체하기 위해 일반화된 입력 메커니즘으로 속성 목록(attlst)을 도입하여 가변 크기 문제 해결을 가능하게 하기 위해.
• 함수와 코드 조각 간의 호환성을 보장하기 위해 유형 적합 제약 조건을 통합하여 잘못된 검색 공간을 줄이기 위해.
• 기초적인 빌딩 블록을 제공하기 위해 기본 공리 집합과 도메인 독립적인 함수(예: StringSum, HeadList, TailList)를 사용하기 위해.
• 간단한 하위 문제에서 학습된 코드 조각(CFs)을 재사용하여 더 복잡한 목표 문제를 해결함으로써 전이 학습을 적용하기 위해.
• 학습을 임계 개념과 유사한 기능 체인 구축 과정으로 재정의하기 위해.

실험 결과

연구 질문

• RQ1 LCS에서 계층적 학습 접근법이 여러 개의 서로 다른 부울 문제 도메인에 걸쳐 견고한 확장성을 제공할 수 있는가?
• RQ2 기능적 빌딩 블록을 하위 문제 간에 재사용함으로써 검색 공간을 줄이고 해의 압축성을 향상시킬 수 있는가?
• RQ3 작업에 특화된 하드코딩이나 사전 문제 크기 제약 없이 일반적이고 해석 가능한 해를 학습할 수 있는 정도는 어느 정도인가?
• RQ4 유형 안정성과 일반적인 기능 함수의 통합이 LCS에서 확장 가능하고 확장 가능한 문제 해결을 가능하게 할 수 있는가?
• RQ5 전이 학습과 기능 조합을 사용할 경우, 기존의 빈 지식 상태에서의 학습과 비교해 해의 품질과 해석 가능성에서 어떤 차이가 있는가?

주요 결과

• XCSCF*는 일반적인 기능 함수와 기본 공리 집합의 최소 집합만을 사용하여 멀티플렉서, 캐리온, 메이저리티온, 이ven-패리티 문제의 n비트 변형을 성공적으로 해결하였다.
• 시스템은 최소한의 일반 규칙(문제 도메인당 하나)만으로도 대규모 문제에 대해서도 매우 압축되고 해석 가능한 해를 달성하였다.
• 명시적인 속성 목록(attlst)의 사용으로 가변 크기 문제 해결이 가능해져 문제 크기를 하드코딩할 필요가 없어졌다.
• 시스템은 학습된 코드 조각과 기능적 빌딩 블록이 하위 문제 간에 효과적으로 전이될 수 있음을 입증하였으며, 이는 검색 공간을 크게 줄였다.
• 해를 추상화했을 때 해는 압축되고 해석 가능했지만, 전체적으로 전개된 CF 트리는 복잡한 중첩 패턴을 드러내어 효과적인 기능 조합이 이루어졌음을 시사했다.
• 모듈러하고 교과서 기반의 학습 아키텍처를 통해 향후 연속형 및 실수 값 데이터셋으로의 확장이 가능하다는 점을 보여주었다.