[논문 리뷰] Bayesian hyper-heuristic framework for training feedforward neural networks

Arné Schreuder|arXiv (Cornell University)|2023. 03. 29.

Machine Learning and Data Classification참고 문헌 52인용 수 1

한 줄 요약

이 논문은 피드포워드 신경망(FFNNs)에서 최적의 학습 히وري스틱을 자동으로 선택하기 위한 새로운 집단 기반 베이지안 초히وري스틱(BHH)을 제안한다. 성능 피드백을 바탕으로 베이지안 확률을 사용해 히وري스틱 선택을 동적으로 업데이트함으로써, 14개 데이터셋 전반에서 경쟁력 있는 성능을 달성하였으며, BHH-GD 버전이 문제 유형에 관계없이 가장 일관되고 변동성이 적은 순위를 기록하였다.

ABSTRACT

The process of training feedforward neural networks (FFNNs) can benefit from an automated process where the best heuristic to train the network is sought out automatically by means of a high-level probabilistic-based heuristic. This research introduces a novel population-based Bayesian hyper-heuristic (BHH) that is used to train feedforward neural networks (FFNNs). The performance of the BHH is compared to that of ten popular low-level heuristics, each with different search behaviours. The chosen heuristic pool consists of classic gradient-based heuristics as well as meta-heuristics (MHs). The empirical process is executed on fourteen datasets consisting of classification and regression problems with varying characteristics. The BHH is shown to be able to train FFNNs well and provide an automated method for finding the best heuristic to train the FFNNs at various stages of the training process.

연구 동기 및 목표

• 훈련 중에 FFNNs에 가장 적합한 저수준 학습 히وري스틱을 자동으로 선택할 수 있는 고수준 히وري스틱을 개발하는 것.
• FFNN 훈련에서 히وري스틱 선택이 문제에 따라 특화되어 있으며, 시간이 많이 소요되는 문제를 해결하는 것.
• 베이지안 통계를 활용해 사전 전문 지식을 히وري스틱 선택 과정에 통합하는 것.
• 다양한 분류 및 회귀 문제에서 10개의 기존 저수준 히وري스틱과의 성능을 BHH와 비교하는 것.
• BHH가 다양한 특성을 지닌 데이터셋 간에 일반화할 수 있는 능력을 입증하는 것.

제안 방법

• BHH는 각각 다른 훈련 알고리즘(예: SGD, Adam, RMSProp)을 나타내는 히وري스틱 구성의 집단을 사용한다.
• 훈련 실행에서의 성능 피드백을 바탕으로 히وري스틱에 대한 확률 분포를 업데이트하기 위해 베이지안 추론을 적용한다.
• 선택 메커니즘은 히وري스틱 선택, 증거(성능 지표), 결과(성공/실패)의 결합 확률을 모델링하기 위해 나이브 베이즈 분류기를 사용한다.
• 이 방법은 파레토 프론트나 진화 연산을 피하기 위해 이산적 신뢰도 할당 메커니즘을 사용한다.
• 확률 계산 중 수치 안정성을 확보하기 위해 로그-합-지수 트릭(log-sum-exp trick)을 사용한다.
• 다양한 독립적인 실행에서 관측된 성능을 바탕으로 BHH는 동적으로 히وري스틱 확률을 재할당한다.

실험 결과

연구 질문

• RQ1 베이지안 초히وري스틱은 다양한 데이터셋에서 FFNN 훈련 시 개별 저수준 히وري스틱의 성능을 능가하거나 동등하게 유지할 수 있는가?
• RQ2 BHH의 동적 히وري스틱 선택 메커니즘은 정적 히وري스틱 선택 대비 일관성과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ3 사전 전문 지식을 BHH 프레임워크에 얼마나 효과적으로 통합할 수 있는가?
• RQ4 BHH는 히وري스틱 선택을 자동화함으로써 수동 하이퍼파rameter 튜닝의 필요성을 줄일 수 있는가?
• RQ5 BHH는 분류와 회귀 유형의 다양한 문제 유형과 데이터 특성에 대해 어떻게 성능을 발휘하는가?

주요 결과

• BHH-GD 버전은 모든 14개 데이터셋에서 가장 뛰어난 종합 성능과 가장 낮은 순위 변동성을 기록하여 강력한 일반화 능력을 보였다.
• 기울기 기반 히وري스틱은 메타히وري스틱을 항상 능가했으며, BHH-GD 구성은 이 경향을 효과적으로 활용했다.
• BHH는 분류 및 회귀 작업을 포함한 다양한 문제 유형에서 높은 성능를 유지함으로써 강건성을 입증했다.
• BHH는 사전 전문 지식을 선택 과정에 성공적으로 통합하여 특정 문제 유형에서 잘 작동하는 것으로 알려진 히وري스틱을 향한 편향을 제공했다.
• BHH는 진화 연산이나 파레토 프론트를 사용하지 않음에도 불구하고 경쟁적인 성능를 달성하여 이전 초히وري스틱 방법과의 차별성을 확보했다.
• 로그-합-지수 트릭을 통해 수치 안정성이 확보되어 확률 계산에서 언더플로우를 방지했다.