[논문 리뷰] SEGEN: SAMPLE-ENSEMBLE GENETIC EVOLUTIONARY NETWORK MODEL

Jiawei Zhang, Limeng Cui외 1명|arXiv (Cornell University)|2018. 09. 27.

Machine Learning and Data Classification참고 문헌 26인용 수 7

한 줄 요약

SEGEN은 유전적·진화적 최적화를 통해 세대에 걸쳐 얕고 다양한 유닛 모델을 구축하고, 그 출력을 확산 전파 및 앙상블 학습 방식으로 통합하는 샘플-앙상블 유전적 진화 네트워크 모델을 제안한다. 이는 딥 러닝 모델에 비해 훨씬 낮은 데이터, 계산 자원 및 튜닝 비용으로 경쟁 가능한 성능을 달성하면서도 강력한 해석 가능성(해석 가능성)을 제공한다.

ABSTRACT

Deep learning, a rebranding of deep neural network research works, has achieved a remarkable success in recent years. With multiple hidden layers, deep learning models aim at computing the hierarchical feature representations of the observational data. Meanwhile, due to its severe disadvantages in data consumption, computational resources, parameter tuning costs and the lack of result explainability, deep learning has also suffered from lots of criticism. In this paper, we will introduce a new representation learning model, namely Sample-Ensemble Genetic Evolutionary Network (SEGEN), which can serve as an alternative approach to deep learning models. Instead of building one single deep model, based on a set of sampled sub-instances, SEGEN adopts a genetic-evolutionary learning strategy to build a group of unit models generations by generations. The unit models incorporated in SEGEN can be either traditional machine learning models or the recent deep learning models with a much narrower and shallower architecture. The learning results of each instance at the final generation will be effectively combined from each unit model via diffusive propagation and ensemble learning strategies. From the computational perspective, SEGEN requires far less data, fewer computational resources and parameter tuning efforts, but has sound theoretic interpretability of the learning process and results. Extensive experiments have been done on several different real-world benchmark datasets, and the experimental results obtained by SEGEN have demonstrated its advantages over the state-of-the-art representation learning models.

연구 동기 및 목표

• 딥 러닝 모델이 요구하는 높은 데이터, 계산 자원 및 튜닝 비용을 해결하기 위해.
• 성능을 희생시키지 않은 채 표현 학습의 해석 가능성(해석 가능성)을 향상시키기 위해.
• 얕고 다양한 모델의 진화적 최적화를 통해 딥 러닝의 확장 가능한 대안을 개발하기 위해.
• 세대 간 인스턴스 수준 예측의 확산 전파를 통해 효과적인 앙상블 학습을 가능하게 하기 위해.
• 실제 벤치마크 데이터셋에서 최첨단 모델 대비 뛰어난 효율성과 성능을 입증하기 위해.

제안 방법

• SEGEN은 샘플된 부분 인스턴스에서 유닛 모델의 집단을 구성하고, 유전적·진화적 전략을 사용해 세대 간으로 진화시킨다.
• 유닛 모델는 기존 머신 러닝 또는 얕고 좁은 딥 러닝 아키텍처에서 선택된다.
• 각 세대는 적합도 평가 기반으로 진화하며, 모델 구성에 대해 선택, 교차, 변이 연산이 적용된다.
• 최종 예측은 확산 전파를 통해 집계되며, 앙상블 내에서 인스턴스 수준 출력을 확산시켜 강건성을 향상시킨다.
• 앙상블 학습은 모든 유닛 모델의 출력을 통합하여 최종 예측을 생성함으로써 일반화 능력을 향상시킨다.
• 모델 진화와 세대 간 특성 기여도 추적을 통해 프레임워크는 해석 가능성(해석 가능성)을 강조한다.

실험 결과

연구 질문

• RQ1 유전적·진화적 프레임워크가 깊은 러닝 성능에 도달하기 위해 다각도로 다양한 얕은 모델을 효과적으로 최적화할 수 있는가?
• RQ2 기존 딥 러닝 모델 대비 SEGEN이 데이터 및 계산 자원 요구량을 어느 정도 줄일 수 있는가?
• RQ3 확산 전파와 앙상블 학습의 조합이 예측 정확도와 안정성을 어떻게 향상시키는가?
• RQ4 SEGEN은 경쟁 가능한 표현 학습 성능을 달성하면서도 강력한 해석 가능성(해석 가능성)을 유지할 수 있는가?
• RQ5 SEGEN은 최첨단 모델 대비 다양한 실세계 벤치마크 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• SEGEN은 여러 실세계 벤치마크 데이터셋에서 최첨단 표현 학습 모델을 능가하는 경쟁 가능한 성능을 달성한다.
• 딥 러닝 모델 대비 훨씬 적은 데이터와 계산 자원을 요구한다.
• 경량 모델의 진화적 최적화 덕분에 하이퍼파라미터 튜닝 노력이 크게 줄어든다.
• 학습 과정과 결과는 강력한 이론적 해석 가능성(해석 가능성)을 보이며, 모델 행동의 추적 가능성을 보장한다.
• 확산 전파 및 앙상블 학습 전략은 예측을 효과적으로 통합하여 강건성과 정확도를 향상시킨다.
• 진화적 프레임워크는 세대 간에 다양하고 높은 성능을 보이는 유닛 모델을 성공적으로 진화시킨다.