[논문 리뷰] Learning concise representations for regression by evolving networks of trees

William La Cava, Tilak Raj Singh외 3명|arXiv (Cornell University)|2018. 07. 03.

Evolutionary Algorithms and Applications인용 수 15

한 줄 요약

이 논문은 회귀 분석을 위한 간결하고 해석 가능한 표현을 학습하기 위해 표현 트리의 네트워크를 진화시키는 FEAT라는 방법을 제안한다. 기울기 하강법을 통한 미분 가능 특징 학습과 모델 가중치에 의해 유도되는 진화 계산을 결합함으로써, FEAT는 100개의 회귀 문제에서 최신 기술 수준의 테스트 성능을 달성하면서도, 기울기 부스팅과 같은 경쟁 방법들보다 모델 크기가 수십만 분의 일 수준으로 훨씬 작다.

ABSTRACT

We propose and study a method for learning interpretable representations for the task of regression. Features are represented as networks of multi-type expression trees comprised of activation functions common in neural networks in addition to other elementary functions. Differentiable features are trained via gradient descent, and the performance of features in a linear model is used to weight the rate of change among subcomponents of each representation. The search process maintains an archive of representations with accuracy-complexity trade-offs to assist in generalization and interpretation. We compare several stochastic optimization approaches within this framework. We benchmark these variants on 100 open-source regression problems in comparison to state-of-the-art machine learning approaches. Our main finding is that this approach produces the highest average test scores across problems while producing representations that are orders of magnitude smaller than the next best performing method (gradient boosting). We also report a negative result in which attempts to directly optimize the disentanglement of the representation result in more highly correlated features.

연구 동기 및 목표

• 일반화 성능이 뛰어난 해석 가능하고 낮은 복잡도의 표현을 학습하는 방법을 개발하는 것.
• 진화 계산이 모듈화되고 분리된 표현을 생성할 수 있는지 탐색하는 것.
• 다양한 확률적 최적화 전략이 간결하고 정확한 표현을 학습하는 데서의 성능를 비교 평가하는 것.
• 특징의 분리 또는 상관도를 명시적으로 최적화하면 모델의 해석 가능성과 일반화 성능 향상에 기여하는지 조사하는 것.
• 자동 특징 공학에서 모델 정확도와 표현 복잡도 사이의 상호 교환 관계를 평가하는 것.

제안 방법

• FEAT는 다양한 유형의 표현 트리 네트워크로 특징을 표현하며, 신경망의 활성화 함수와 기본 수학 연산을 조합한다.
• 각 표현은 기울기 하강법을 사용하여 미분 가능한 특징을 최적화하도록 훈련되며, 선형 모델의 모델 가중치를 활용해 진화 과정에서의 변형을 유도한다.
• 알고리즘은 정확도와 복잡도 사이의 균형을 유지하는 표현 아카이브를 유지하여 일반화와 해석 가능성 가능성을 확보한다.
• 진화 계산을 통해 아키텍처 공간을 탐색하며, 모델 가중치의 피드백에 기반해 문법 트리에 변형 연산자를 적용한다.
• 다양한 확률적 최적화 변종(진화적 및 비진화적 접근 모두 포함)을 다중 목적 기준을 사용해 비교한다.
• 모델 선택은 진화된 특징에 대해 선형 모델을 피팅하여 수행되며, 특징 중요도는 학습된 계수의 크기로 결정된다.

실험 결과

연구 질문

• RQ1 표현 트리의 네트워크를 진화시켜 최신 기술 수준의 방법보다 훨씬 더 간결하면서도 높은 정확도를 가진 회귀 모델을 생성할 수 있는가?
• RQ2 진화 과정에서 모델 가중치를 피드백으로 사용하면 학습된 표현의 품질이 향상되는가?
• RQ3 특징의 분리 또는 상호상관도를 명시적으로 최적화하면 해석 가능성과 일반화 성능 향상에 기여하는가?
• RQ4 다양한 확률적 최적화 전략은 간결하고 정확한 표현을 학습하는 데서 어떻게 비교되는가?
• RQ5 모델 선택 과정은 다중공선성에 페널티를 부과하더라도 여전히 높은 상관도를 가진 특징을 선호하는가?

주요 결과

• FEAT는 100개의 오픈소스 회귀 문제에서 평균 테스트 R² 점수를 최고로 기록했으며, XGBoost, Random Forest, ElasticNet와 같은 최신 기술 수준의 방법들을 모두 능가했다.
• FEAT가 생성한 최종 모델은 기울기 부스팅 기반 방법보다 수십만 분의 일 수준으로 훨씬 작았으며, 중앙값 모델 크기는 12개의 노드였고 XGBoost는 1,000개 이상의 노드를 차지했다.
• 최적화 과정에서 특징 상관도를 명시적으로 최소화하는 방식(FEATCorr 및 FEATCN)은 최종 표현에서 상관도를 감소시키지 않았고, 오히려 경우에 따라 상관도를 증가시켰다. 이는 이러한 목적이 분리도 향상에 기여한다는 가설을 반박한다.
• FEAT에서 최종적으로 선택된 모델들은 비선형, 다항식, 상호작용 특징을 조합한 경우가 많았으며(예: tanh(x₁), x₁·x₀·(x₃−x₀)), 이는 더 단순한 표현에서 더 정확한 표현으로의 복잡도 진화 과정을 보여주었다.
• FEAT와 MLP는 매우 유사한 특징 공간을 형성했지만, FEAT의 표현은 MLP보다 더 많은 이元 상관도를 보였으며, 이는 최적화 목표에도 불구하고 특징의 중복 경향이 있음을 시사한다.
• 모델 선택 과정은 검증 오차와 계수 크기를 기반으로 하며, 다중공선성은 표준 오차에 영향을 주지만 예측 성능에 직접적인 영향을 주지 않기 때문에, 이 과정이 높은 상관도를 가진 표현을 의도치 않게 선호할 수 있다.