[논문 리뷰] An Efficient Genetic Programming System with Geometric Semantic Operators and its Application to Human Oral Bioavailability Prediction

Mauro Castelli, Luca Manzoni외 1명|arXiv (Cornell University)|2012. 08. 12.

Evolutionary Algorithms and Applications참고 문헌 4인용 수 5

한 줄 요약

이 논문은 기하학적 의미 연산자를 사용함으로써 지수적 번식을 유발하지 않으며, 이로 인해 단일 프로그램 크기의 급격한 증가를 방지하는 새로운 효율적인 유전적 프로그래밍 시스템을 제안한다. 이는 기하학적 의미 연산자의 단모달(flat) 적인 적합도 구조 특성을 실용적으로 활용할 수 있게 한다. 시스템은 인간의 경구 생체이용률 예측에서 최신 기준을 충족하며, 표준 GP 및 여러 기계학습 방법보다 우수한 일반화 성능을 보였다.

ABSTRACT

Very recently new genetic operators, called geometric semantic operators, have been defined for genetic programming. Contrarily to standard genetic operators, which are uniquely based on the syntax of the individuals, these new operators are based on their semantics, meaning with it the set of input-output pairs on training data. Furthermore, these operators present the interesting property of inducing a unimodal fitness landscape for every problem that consists in finding a match between given input and output data (for instance regression and classification). Nevertheless, the current definition of these operators has a serious limitation: they impose an exponential growth in the size of the individuals in the population, so their use is impossible in practice. This paper is intended to overcome this limitation, presenting a new genetic programming system that implements geometric semantic operators in an extremely efficient way. To demonstrate the power of the proposed system, we use it to solve a complex real-life application in the field of pharmacokinetic: the prediction of the human oral bioavailability of potential new drugs. Besides the excellent performances on training data, which were expected because the fitness landscape is unimodal, we also report an excellent generalization ability of the proposed system, at least for the studied application. In fact, it outperforms standard genetic programming and a wide set of other well-known machine learning methods.

연구 동기 및 목표

• 기존 기하학적 의미 연산자가 초래하는 개체 크기의 지수적 증가 문제를 해결함으로써, 실생활 응용에 실용적이지 못한 상황을 해결하고자 한다.
• 번식을 방지하면서도 의미적 동치성을 유지하는, 컴act하고 효율적인 기하학적 의미 연산자 구현을 설계하고자 한다.
• 제안된 시스템을 복잡한 실생활 약물동역학 문제인 신약의 인간 경구 생체이용률 예측에 적용하여 평가하고자 한다.
• 표준 유전적 프로그래밍 및 다른 최신 기계학습 방법들과 비교하여 뛰어난 일반화 성능을 입증하고자 한다.

제안 방법

• 시스템은 초기 무작위 개체 집합과 기하학적 의미 연산을 위한 빌딩 블록으로 사용되는 보조 무작위 프로그램 집합만 저장한다.
• 이러한 프로그램에 대한 포인터 동적 테이블을 유지함으로써, 전체 표현식을 저장하지 않고도 효율적인 후손 생성이 가능하다.
• 기하학적 의미 교배 및 돌연변이 연산은 의미 벡터(입력-출력 쌍)의 벡터 공간 연산을 통해 구현되며, 의미 일致성을 보장한다.
• 설계적으로 명시적 프로그램 단순화를 피함으로써 번식을 제어하며, 압축된 표현 방식과 포인터 관리에 의존한다.
• 적합도 평가는 의미 유사도와 목표 일치도를 기반으로 압축된 표현 방식에서 수행된다.
• 시스템은 인간의 경구 생체이용률 예측을 위한 분자의 기술적 특성 데이터셋에 적용되었으며, 테스트 세트에서의 RMSE를 통해 성능이 평가되었다.

실험 결과

연구 질문

• RQ1 기하학적 의미 연산자가 프로그램 크기의 지수적 증가를 방지하는 방식으로 구현될 수 있는가? 이는 실용적 사용이 가능하게 하는가?
• RQ2 제안된 GP 시스템이 기하학적 의미 연산자의 단모달 적인 적합도 구조 특성을 유지하면서도 계산 효율성을 확보할 수 있는가?
• RQ3 경구 생체이용률 예측 과제에서 제안된 시스템의 일반화 성능은 표준 유전적 프로그래밍 및 다른 최신 기계학습 방법들과 비교해 어떻게 되는가?
• RQ4 GP가 자동 특성 선택을 수행한다는 점을 고려할 때, 명시적 특성 선택 없이도 시스템이 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 GP 시스템은 초기 프로그램과 포인터 테이블만 저장함으로써 지수적 번식을 성공적으로 제거하여, 기하학적 의미 연산자의 실용적 사용을 가능하게 하였다.
• 30회의 실행에서 시스템은 중앙값 테스트 RMSE 26.97을 달성하였으며, 표준 유전적 프로그래밍 및 여러 최신 기법들을 초월하였다.
• 명시적 특성 선택 없이도, 상관계수 기반 특성 선택을 사용한 방법들과 비교해 성능이 유사하거나 뛰어났다.
• 시스템은 테스트 오차가 SVM 및 다층 퍼셉트론 등의 많은 기준 방법들보다 뚜렷이 낮아, 뛰어난 일반화 능력을 보였다.
• 결과적으로 기하학적 의미 연산자가 효율적으로 구현될 경우 실생활 응용에서 뛰어난 일반화 성능을 낼 수 있음을 확인하였다.
• 이 프레임워크는 효율성과 강건성 덕분에 고차원적이고 복잡한 문제에 광범위하게 적용될 잠재력을 보였다.