[논문 리뷰] An Introduction to Artificial Prediction Markets for Classification

Adrian Barbu, Nathan Lay|arXiv (Cornell University)|2011. 02. 07.

Sports Analytics and Performance참고 문헌 34인용 수 15

한 줄 요약

이 논문은 분류 문제를 위한 새로운 온라인 학습 프레임워크로 인공 예측 시장(artificial prediction markets)을 제안한다. 여기서 분류기 예측은 시장 정산 메커니즘을 통해 조건부 확률을 추정한다. 이 방법은 선형 융합, 로지스틱 회귀, 커널 방법을 일반화하며, 시뮬레이션 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 아다부스트(AdaBoost) 대비 림프절 탐지율에서 1.6% 향상된 성과를 기록한다.

ABSTRACT

Prediction markets are used in real life to predict outcomes of interest such as presidential elections. This paper presents a mathematical theory of artificial prediction markets for supervised learning of conditional probability estimators. The artificial prediction market is a novel method for fusing the prediction information of features or trained classifiers, where the fusion result is the contract price on the possible outcomes. The market can be trained online by updating the participants' budgets using training examples. Inspired by the real prediction markets, the equations that govern the market are derived from simple and reasonable assumptions. Efficient numerical algorithms are presented for solving these equations. The obtained artificial prediction market is shown to be a maximum likelihood estimator. It generalizes linear aggregation, existent in boosting and random forest, as well as logistic regression and some kernel methods. Furthermore, the market mechanism allows the aggregation of specialized classifiers that participate only on specific instances. Experimental comparisons show that the artificial prediction markets often outperform random forest and implicit online learning on synthetic data and real UCI datasets. Moreover, an extensive evaluation for pelvic and abdominal lymph node detection in CT data shows that the prediction market improves adaboost's detection rate from 79.6% to 81.2% at 3 false positives/volume.

연구 동기 및 목표

• 분류기 예측을 인공 예측 시장 기반으로 융합하기 위한 수학적으로 탄탄한 프레임워크를 개발하는 것.
• 시장 기반 융합을 통해 온라인이고 효율적인 확률 추정을 가능하게 하여 지도 학습에서의 확률 추정을 실현하는 것.
• 부스팅 및 랜덤 포레스트와 같은 기존 앙상블 방법들을 통합된 확률적 시장 메커니즘 안에서 일반화하는 것.
• 특정 특징 공간 영역에서만 활성화되는 전문화된 분류기를 도입하여, 적응적이고 맥락 인식 가능한 융합을 가능하게 하는 것.
• 합성 및 실세계 데이터셋에서의 예측 정확도와 확률 추정 성능을 실증적으로 검증하여 본 방법의 우수성을 입증하는 것.

제안 방법

• 시장은 계약 가격을 나타내기 위해 단체형태(probability simplex)를 사용하며, 각 가격은 입력 특징에 기반한 특정 클래스의 추정 확률에 해당한다.
• 각 시장 참가자는 예산과 베팅 함수로 정의되며, 이는 입력 특징과 현재 가격에 따라 각 클래스에 투자할 금액을 결정한다.
• 시장은 충족 조건과 합리적 행동 원칙을 보장하는 볼록 최적화 문제를 통해 정산되며, 이는 공리적 가정에서 유도된다.
• 온라인 업데이트는 훈련 예제에 기반해 참가자의 예산을 조정하는 가중치 업데이트 규칙을 사용하여 수행되며, 점진적 학습이 가능하다.
• 특화된 분류기는 자신의 전문 영역이 관련이 있을 때만 참여하도록 설계되어, 각 인스턴스에 대해 동적 부분집합 융합이 가능하다.
• 이 프레임워크는 다중 클래스 문제로 자연스럽게 확장 가능하며, 일대다, 다수대다, 결정 트리 등 다양한 분류기의 융합을 지원한다.

실험 결과

연구 질문

• RQ1 분류기 예측을 신뢰할 수 있는 조건부 확률 추정치로 융합하기 위한 시장 기반 메커니즘이 공리적 기반에서 형식적으로 유도될 수 있는가?
• RQ2 기존의 앙상블 방법(랜덤 포레스트, 부스팅 등)과 비교할 때 인공 예측 시장의 예측 정확도는 어떠한가?
• RQ3 특정 특징 하위영역에서만 활성화되는 전문화된 분류기가 성능 향상과 확률 추정 향상에 기여할 수 있는가?
• RQ4 시장 기반 융합 메커니즘이 로지스틱 회귀 및 특정 커널 방법을 특수한 경우로 일반화할 수 있는가?
• RQ5 최소한의 계산 비용으로 각 예제당 효율적으로 업데이트 가능한가?

주요 결과

• 인공 예측 시장은 허리와 복부 림프절 탐지에서 1개 볼륨당 3개의 오류 양성률에서 81.2%의 탐지율을 달성했으며, 아다부스트의 79.6% 대비 1.6% 향상된 성과를 기록했다.
• 다양한 UCI 데이터셋에서 암묵적 온라인 학습보다 유의미하게 뛰어나며, 어떤 경우에도 열등한 성능를 보이지 않았다.
• 베이즈 오차가 0에서 0.5까지 변하는 합성 데이터셋에서, 예측 정확도와 확률 추정 모두에서 랜덤 포레스트를 일관되게 능가했다.
• 시장은 부스팅 및 랜덤 포레스트에서의 선형 융합, 로지스틱 회귀, 일부 커널 방법을 특수한 경우로 일반화한다.
• 낮은 계산 비용으로 각 업데이트당 온라인 학습이 가능하여 실시간 적응이 가능하다.
• 단일 인스턴스당 일부 분류기만 참여하더라도 의미 있는 확률 추정치를 제공하며, 다양체(manifolds) 기반의 효과적인 학습이 가능하다.