[論文レビュー] Isoelastic Agents and Wealth Updates in Machine Learning Markets

Amos Storkey, Jono Millin+1 more|arXiv (Cornell University)|Jun 27, 2012

Complex Systems and Time Series Analysis参考文献 24被引用数 12

ひとこと要約

本論文は、資産に基づく更新を用いて動的かつ柔軟にモデルを統合する予測市場において、等価弾力性効用関数を有するエージェントを用いた機械学習フレームワークを提案する。エージェントのリスク選好と資産水準に応じて市場の報酬構造を設計することで、ベイズ的モデル更新と最適な混合重みの適応が実現され、ベンチマークタスクにおいてランダムフォレストや単一分類器を上回る性能を発揮するとともに、対応する対数効用関数に基づく手法よりも優れた性能を示している。

ABSTRACT

Recently, prediction markets have shown considerable promise for developing flexible mechanisms for machine learning. In this paper, agents with isoelastic utilities are considered. It is shown that the costs associated with homogeneous markets of agents with isoelastic utilities produce equilibrium prices corresponding to alpha-mixtures, with a particular form of mixing component relating to each agent's wealth. We also demonstrate that wealth accumulation for logarithmic and other isoelastic agents (through payoffs on prediction of training targets) can implement both Bayesian model updates and mixture weight updates by imposing different market payoff structures. An iterative algorithm is given for market equilibrium computation. We demonstrate that inhomogeneous markets of agents with isoelastic utilities outperform state of the art aggregate classifiers such as random forests, as well as single classifiers (neural networks, decision trees) on a number of machine learning benchmarks, and show that isoelastic combination methods are generally better than their logarithmic counterparts.

研究の動機と目的

• 等価弾力性効用関数を有するエージェントを用いた予測市場に基づく、機械学習モデルの統合フレームワークの構築を目的とする。
• 予測報酬による資産蓄積が、どのようにベイズ的モデル更新と混合重み学習を実現するかを検討することを目的とする。
• エージェントのパフォーマンスとリスク選好に基づき、動的にモデル重みを調整できるようにする報酬構造の設計を目的とする。
• ランダムフォレストなどの最先端のアンサンブル手法と比較して、非一様な予測市場における等価弾力性エージェントの性能を評価することを目的とする。
• 等価弾力性と対数効用関数に基づく統合手法の有効性を比較することを目的とする。

提案手法

• 等価弾力性効用関数を有するエージェントを、リスク回避性が一定相対的リスク回避（CRRA）係数でパrameter化された予測市場のトレーダーとしてモデル化する。
• 市場清算価格は、個々のエージェントの信念のアルファ混合として導出され、混合重みは各エージェントの資産およびリスク選好によって決定される。
• 訓練ターゲットにおける予測精度に基づく市場報酬を用いて、資産の更新を計算し、動的学習プロセスをシミュレートする。
• 市場均衡を計算する反復的アルゴリズムを提案し、安定した予測価格への収束を保証する。
• 目的の学習行動に応じて、ベイズ的モデル更新または混合重み適応を誘発するように、異なる報酬構造を導入する。
• 異なる資産およびリスク選好を持つ非一様エージェントをサポートするため、耐障害的かつ柔軟なアンサンブル学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 予測市場における等価弾力性エージェントは、資産蓄積を通じて効果的にベイズ的モデル更新を実現できるか？
• RQ2 異なる市場報酬構造は、モデル統合における等価弾力性エージェントの学習ダイナミクスにどのように影響を与えるか？
• RQ3 非一様な等価弾力性エージェント市場は、ランダムフォレストなどの標準的アンサンブル手法をどの程度上回るか？
• RQ4 効用関数の選択（等価弾力性対対数）が、機械学習タスクにおけるモデル統合の性能にどのように影響を与えるか？
• RQ5 市場環境における資産ベースの更新は、予測モデルの最適混合重みを達成できるか？

主な発見

• 非一様な等価弾力性エージェント市場は、ランダムフォレストなどの最先端のアンサンブル分類器を複数の機械学習ベンチマークで上回る性能を発揮する。
• 本フレームワークは、訓練ターゲットにおける予測精度を反映するように報酬構造を設計することで、効果的なベイズ的モデル更新を実現する。
• 適切なスコアルールに従う報酬により、資産蓄積が混合重みの動的調整を可能とし、適応的モデル統合を実現する。
• 等価弾力性統合手法は、対数効用関数に基づく手法と比較して、予測精度の観点で一貫して優れた性能を示す。
• 市場均衡計算アルゴリズムは信頼性高く収束し、実世界の学習タスクへの実用的導入を可能にする。
• 理論的分析により、均衡価格がエージェントの資産およびリスク回避パrameterに重み付けされたアルファ混合に対応することが確認された。