[논문 리뷰] The Artificial Regression Market

Nathan Lay, Adrian Barbu|arXiv (Cornell University)|2012. 04. 18.

Sports Analytics and Performance참고 문헌 8인용 수 4

한 줄 요약

이 논문은 예측 오차에 기반해 예측을 동적으로 업데이트하는 보상 커널을 사용함으로써 분류에서 회귀로 일반화된 새로운 기계학습 프레임워크인 Regression Market를 소개한다. 보상 커널을 통해 예측 정확도를 정량화하고 학습을 이끄는 메커니즘을 제안하며, 델타 및 가우시안 업데이트라는 두 가지 학습 규칙을 도입하여, 특히 얕은 트리 리프를 조합할 때 Random Forest보다 우수한 성능을 보임을 입증한다.

ABSTRACT

The Artificial Prediction Market is a recent machine learning technique for multi-class classification, inspired from the financial markets. It involves a number of trained market participants that bet on the possible outcomes and are rewarded if they predict correctly. This paper generalizes the scope of the Artificial Prediction Markets to regression, where there are uncountably many possible outcomes and the error is usually the MSE. For that, we introduce the reward kernel that rewards each participant based on its prediction error and we derive the price equations. Using two reward kernels we obtain two different learning rules, one of which is approximated using Hermite-Gauss quadrature. The market setting makes it easy to aggregate specialized regressors that only predict when an observation falls into their specialization domain. Experiments show that regression markets based on the two learning rules outperform Random Forest Regression on many UCI datasets and are rarely outperformed.

연구 동기 및 목표

• 이산적 분류에서 연속적 회귀로의 인공 예측 시장의 일반화를 위해, 결과가 가산 불가능한 많은 수의 연속된 결과를 다루는 프레임워크를 개발한다.
• 기존의 이산 계약이 적용되지 않는 시장 기반 프레임워크에서 연속적 반응 변수를 모델링하는 데 도전한다.
• 예측 정확도를 정량화하고 학습을 이끄는 보상 커널 메커니즘을 개발한다.
• 특정 입력 영역에서만 예측하는 전문화된 회귀모형의 효과적인 집계를 가능하게 한다.
• 제안된 회귀 시장이 Random Forest 회귀와 같은 기존 방법보다 경험적으로 뛰어난 성능을 보임을 입증한다.

제안 방법

• 진실된 값 $y$ 가 주어졌을 때 예측 $t$ 에 대한 보상을 정량화하는 보상 커널 $K(t; y)$ 를 도입하여, 이산적 계약 지급액을 연속적인 오차 기반 보상으로 대체한다.
• 시장의 조건부 밀도 $c(y|\mathbf{x})$ 에 대한 가격 방정식을 유도하여 예산 보존 및 확률적 해석과의 일관성을 확보한다.
• 두 가지 학습 규칙을 제안한다: 하나는 델타 함수 기반 업데이트이고, 다른 하나는 가우시안 보상 커널을 사용하며, 후자는 헤르미트-가우스 적분을 통해 근사한다.
• 시장 평형 조건 $c(y|\mathbf{x}) = \sum_{m=1}^{M} \beta_m \phi_m(y|\mathbf{x}, \mathbf{c})$ 를 사용하여 예측을 개별 회귀모형 출력의 가중 평균으로 모델링한다.
• 얕은 결정 트리 리프의 예측을 집계하기 위해 시장 프레임워크를 적용하며, 더 정확한 리프에 더 높은 가중치를 할당한다.
• 최종 예측은 평형 가격 함수에서 유도된 기대값 $y = \int t \cdot c(t|\mathbf{x}) dt$ 로서 선형 집계 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 인공 예측 시장은 이산적 분류에서 연속된 결과를 가진 회귀로 일반화될 수 있는가?
• RQ2 연속적 오차 기반 피드백을 제공할 수 있도록 보상 커널을 어떻게 설계할 수 있는가?
• RQ3 회귀 시장에서 수렴성과 정확성을 보장하는 데 필요한 수학적 성질과 학습 규칙은 무엇인가?
• RQ4 시장 프레임워크는 입력 영역이 제한된 전문화된 회귀모형을 효과적으로 집계할 수 있는가?
• RQ5 실제 세계 데이터셋에서 제안된 회귀 시장의 성능은 Random Forest 회귀와 같은 기존 방법보다 어떻게 비교되는가?

주요 결과

• 델타 업데이트를 사용하는 Regression Market(DM)는 UCI 및 LIAAD 데이터셋 16개 중 11개에서 평균 제곱오차(MSE) 측면에서 Random Forest(RF)를 뛰어넘는다.
• 가우시안 업데이트 시장(GM)은 14개 데이터셋에서 RF를 능가하며, 오직 2개 데이터셋에서 성능이 유의미하게 열 劣하므로 과적합 또는 서브옵티멀한 커널 튜닝이 원인으로 지목된다.
• friedman1 데이터셋에서 DM은 MSE 4.701을 기록하여 RF의 5.076보다 7.3% 향상된 성능을 보였다.
• auto-mpg 데이터셋에서 DM은 MSE 7.817을 기록하여 RF의 8.248보다 유의미하게 뛰어난 성능을 보였으며, 5.2% 향상된 결과를 얻었다.
• 깊이 5인 트리 리프의 시장 기반 집계는 단순 투표보다 더 뛰어난 성능을 보였으며, 가중치가 부여된 집계의 가치를 입증했다.
• 속도 분석 결과, 깊이 5인 트리는 깊이 10인 트리보다 약 1.8배에서 3.3배 더 빠르며, 저비용으로도 높은 정확도를 유지함을 확인했다.