[논문 리뷰] On the definition of a general learning system with user-defined operators

Fernando Martínez‐Plumed, Cèsar Ferri외 2명|arXiv (Cornell University)|2013. 11. 18.

Computability, Logic, AI Algorithms참고 문헌 58인용 수 4

한 줄 요약

이 논문은 구조화된 데이터에서 학습하기 위해 도메인 특화 연산자 정의 및 커스터마이징을 허용하는 일반 목적의 규칙 기반 기계학습 시스템 gErl을 제안한다. 강화 학습을 통해 연산자 적용 및 규칙 생성을 안내함으로써 gErl은 다양한 작업 간에 적응형이고 재사용 가능한 히ュ리스틱을 제공하면서도 원본 데이터 표현을 유지하고 문제 간 지식 전이를 지원한다.

ABSTRACT

In this paper, we push forward the idea of machine learning systems whose operators can be modified and fine-tuned for each problem. This allows us to propose a learning paradigm where users can write (or adapt) their operators, according to the problem, data representation and the way the information should be navigated. To achieve this goal, data instances, background knowledge, rules, programs and operators are all written in the same functional language, Erlang. Since changing operators affect how the search space needs to be explored, heuristics are learnt as a result of a decision process based on reinforcement learning where each action is defined as a choice of operator and rule. As a result, the architecture can be seen as a 'system for writing machine learning systems' or to explore new operators where the policy reuse (as a kind of transfer learning) is allowed. States and actions are represented in a Q matrix which is actually a table, from which a supervised model is learnt. This makes it possible to have a more flexible mapping between old and new problems, since we work with an abstraction of rules and actions. We include some examples sharing reuse and the application of the system gErl to IQ problems. In order to evaluate gErl, we will test it against some structured problems: a selection of IQ test tasks and some experiments on some structured prediction problems (list patterns).

연구 동기 및 목표

• 복잡한 구조화된 데이터를 처리하면서도 원본 데이터 표현을 유지하는 일반 목적의 기계학습 시스템의 부족을 해결하기 위해.
• 기존 시스템에서 고정된 연산자 집합에 의존하지 않고 사용자가 특정 데이터 유형과 문제 구조에 맞게 맞춤형 연산자를 정의할 수 있도록 하기 위해.
• 규칙 진화와 프로그램 생성이 강화 학습에 의해 안내되는 탄력적인 아키텍처를 개발하여, 큰 가설 공간에서의 탐색 효율성을 향상시키기 위해.
• 다른 문제들 간의 지식 전이를 지원하기 위해, 서로 다른 문제들 간에 학습된 정책과 추상화된 상태 표현을 재사용할 수 있도록 하기 위해.
• 기능 프로그래밍과 고계수 연산자 정의를 통해 확장 가능성을 제공함으로써, 새로운 기계학습 시스템을 작성하는 데 사용할 수 있는 '기계학습 시스템을 작성하는 시스템'으로서의 기능을 제공하기 위해.

제안 방법

• gErl은 기능 프로그래밍 기반(Erlang)을 사용하여 규칙과 패턴을 변환하는 일급 함수로 연산자를 정의함으로써 표현력 있고 확장 가능한 학습 논리를 가능하게 한다.
• 시스템은 변화하는 규칙과 프로그램의 집단을 유지하며, 기존 규칙에 사용자가 정의한 연산자를 적용하여 새로운 규칙을 생성하고, 규칙들을 조합하여 새로운 프로그램을 형성한다.
• 강화 학습은 각 단계에서 연산자와 규칙 선택을 안내하며, 상태 표현에 기반해 최적의 행동을 예측하기 위해 Q-값 테이블과 회귀 모델 $Q_M$을 사용한다.
• 상태 표현 $\dot{s}$ 는 추상적이며 규칙과 프로그램 통계로 구성되며, 최적성, 커버리지, 복잡도 메트릭스를 포함하여 작업 간 전이 학습을 가능하게 한다.
• 학습 과정은 최근 프로그램들의 최적성 값 수렴 기반으로 정지 기준을 사용하며, 이는 이동 평균과 표준편차를 통해 계산된다.
• 연산자 적용은 행동 선택 문제로 모델링되며, 에이전트는 최대 Q-값을 가진 연산자-규칙 쌍을 선택하고, Q-값은 학습률 $\alpha$와 할인 요소 $\gamma$를 사용한 시간 차분 학습으로 업데이트된다.

실험 결과

연구 질문

• RQ1 고정된 내장 히ュ리스틱이나 특징 변환에 의존하지 않고 사용자가 정의한 연산자를 지원하는 일반 학습 시스템을 설계할 수 있는가?
• RQ2 강화 학습을 규칙 기반 시스템에 효과적으로 통합하여 복잡한 가설 공간에서의 연산자 선택 및 규칙 생성을 안내할 수 있는가?
• RQ3 한 학습 작업에서 학습된 정책과 상태 표현이 서로 다른 데이터 구조와 연산자를 가진 다른, 관련 없는 작업에 얼마나 효과적으로 재사용될 수 있는가?
• RQ4 기능 프로그래밍과 고계수 함수의 사용이 복잡한 도메인 특화 연산자를 유지보수 가능하고 조합 가능한 방식으로 특정화하고 통합하는 데 어떻게 기여하는가?
• RQ5 시스템이 수렴하는 조건은 무엇이며, 정확한 검색 없이도 수렴을 효율적으로 감지할 수 있는가?

주요 결과

• gErl은 원본 표현을 유지하는 사용자 정의 연산자를 허용함으로써, 재귀적 데이터 구조를 포함한 다양한 구조화된 데이터 문제에 대해 정확한 규칙 기반 모델을 성공적으로 생성한다.
• 강화 학습의 통합으로 인해 가설 공간 탐색이 효율적으로 이루어지며, 무지식한 탐색 대비 높은 성능 솔루션을 찾는 데 필요한 반복 수가 크게 감소한다.
• 학습된 정책과 추상화된 상태 표현을 재사용함으로써 작업 간 지식 전이가 달성되며, 연산자와 데이터 유형이 다를지라도 새로운 문제에 더 빠르게 적응할 수 있다.
• 시스템의 아키텍처는 '기계학습 시스템을 작성하는 시스템'을 지원하며, 새로운 연산자와 학습 정책을 정의함으로써 새로운 학습 철학을 프로토타이핑할 수 있다.
• 실험적 평가에서 최적성 수렴 기반 정지 기준(이동 평균과 표준편차 사용)이 향후 향상 가능성이 낮을 때 학습을 효과적으로 종료함을 입증하였다.
• Q-값을 근사하기 위해 회귀 모델 $Q_M$을 사용함으로써 학습 안정성이 향상되고 유사 상태 간 일반화가 가능해져 확장성이 향상된다.