[논문 리뷰] Unsure When to Stop? Ask Your Semantic Neighbors

Ivo Gonçalves, Sara Silva외 2명|arXiv (Cornell University)|2017. 06. 19.

Evolutionary Algorithms and Applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 기하학적 의미 유전적 프로그래밍(GSGP)과 의미 학습 기계(SLM)에서 해의 의미적 이웃 관계를 활용하여 최적의 종료 시점을 결정하는 의미적 정지 기준을 제안한다. 이는 일반화 성능을 크게 향상시키고 계산 비용을 줄이는 데 기여한다. 이 방법은 의미 유사도와 점진적 평가를 활용해 진화를 조기에 종료하며, 신경망의 경우 3초 이내, GP 트리의 경우 10초 이내에 경쟁적인 성능을 달성한다.

ABSTRACT

In iterative supervised learning algorithms it is common to reach a point in the search where no further induction seems to be possible with the available data. If the search is continued beyond this point, the risk of overfitting increases significantly. Following the recent developments in inductive semantic stochastic methods, this paper studies the feasibility of using information gathered from the semantic neighborhood to decide when to stop the search. Two semantic stopping criteria are proposed and experimentally assessed in Geometric Semantic Genetic Programming (GSGP) and in the Semantic Learning Machine (SLM) algorithm (the equivalent algorithm for neural networks). The experiments are performed on real-world high-dimensional regression datasets. The results show that the proposed semantic stopping criteria are able to detect stopping points that result in a competitive generalization for both GSGP and SLM. This approach also yields computationally efficient algorithms as it allows the evolution of neural networks in less than 3 seconds on average, and of GP trees in at most 10 seconds. The usage of the proposed semantic stopping criteria in conjunction with the computation of optimal mutation/learning steps also results in small trees and neural networks.

연구 동기 및 목표

• 검증되지 않은 데이터에서 성능이 악화되기 전에 최적의 정지 시점을 식별하여 반복적 지도 학습에서 과적합을 해결하고자 한다.
• 기하학적 의미 연산자를 통해 유도된 의미적 이웃 정보가 효과적이고 효율적인 정지 결정을 이끌 수 있는지 탐색하고자 한다.
• 기하학적 의미 이론에 기반한 두 알고리즘인 GSGP와 SLM에서 의미적 정지 기준의 타당성과 성능을 평가하고자 한다.
• 의미적 정지 기준과 최적의 변형/학습 단계 계산을 통합했을 때 모델 크기와 일반화 성능에 미치는 영향을 평가하고자 한다.
• 계산 효율성을 입증하여 예측 성능를 희생시키지 않고도 압축된 모델을 신속하게 진화시킬 수 있음을 보여주고자 한다.

제안 방법

• 의미 유사도 기반 정지(Semantic Similarity-based Stopping, SSS)와 의미 향상률 기반 정지(Semantic Improvement-based Stopping, SIS)라는 두 가지 의미적 정지 기준을 제안한다.
• 이러한 기준을 GSGP와 SLM 프레임워크 내에서 적용하며, 기하학적 의미 연산자를 사용하여 단일 최적점의 적합도 곡선을 유지하고 전역 최적해로의 수렴을 보장한다.
• 각 변형 또는 학습 단계에서 점진적 평가를 수행하여 의미 변화를 효율적으로 추적하고 전체 재평가를 방지한다.
• 수렴 속도와 모델의 압축성 향상을 더욱 향상시키기 위해 최적의 변형 및 학습 단계 계산을 도입한다.
• 해가 목표에 얼마나 가까운지 측정하기 위해 의미 공간 거리 지표를 사용하여 정체 또는 과적합의 조기 탐지가 가능하게 한다.
• 진화 과정 중에 동적으로 정지 기준을 적용하여 의미적 진전이 임계값 이하로 떨어지거나 목표와의 유사도가 정체될 경우 진화를 종료한다.

실험 결과

연구 질문

• RQ1 GSGP와 SLM에서 의미적 이웃 정보는 향후 진화가 과적합으로 이어질 것임을 신뢰성 있게 신호로 제공할 수 있는가?
• RQ2 제안된 의미적 정지 기준은 기존의 정지 히وري스틱보다 더 우수한 일반화 성능을 보일 수 있는가?
• RQ3 의미적 정지 기준과 최적 단계 계산을 통합했을 때 모델 크기와 훈련 시간은 어느 정도 감소하는가?
• RQ4 특히 고차원 회귀 데이터셋에서 이 알고리즘의 계산 시간 측면에서 얼마나 효율적인가?
• RQ5 이러한 접근은 분류와 회귀를 포함한 다양한 유형의 지도 학습 문제에 일반화 가능한가?

주요 결과

• 제안된 의미적 정지 기준은 실제 고차원 회귀 데이터셋에서 기존의 표준 정지 전략과 비교해도 경쟁적인 일반화 성능를 달성하거나 이를 능가한다.
• 신경망 진화의 평균 시간은 SLM을 사용할 경우 1회 실행당 3초 이내로 완료되며, OS EDV 변종은 LD50 데이터셋에서 중앙값 0.3초를 기록한다.
• GP 트리 진화의 경우 SSHC를 사용할 경우 1회 실행당 최대 10초 이내로 완료되며, OS EDV 변종은 Bio 데이터셋에서 중앙값 0.9초를 기록한다.
• 의미적 정지 기준과 최적의 변형 단계를 함께 사용할 경우 모델 크기가 크게 감소한다: GP 트리의 경우 OS EDV 변종에서 중앙값 327개의 노드를 기록한 반면, 최적화되지 않은 변종은 10,000개 이상을 기록한다.
• 의미적 정지 기준을 적용한 SLM 변종 중 FS TIE를 사용한 경우 PPB와 LD50 데이터셋에서 두 번째로 뛰어난 일반화 성능를 기록했으며, 네트워크 크기가 더 크더라도 성능이 뛰어나다.
• SLM의 OS EDV 변종는 다양한 데이터셋에서 중앙값 4개의 은닉 뉴런을 기록하며 가장 작고 압축된 신경망을 생성했으며, 강력한 일반화 성능를 유지하고 있다.