[論文レビュー] Artificial prediction markets present a novel opportunity for human-AI collaboration

Tatiana Chakravorti, Vaibhav Pratap Singh+7 more|arXiv (Cornell University)|Nov 29, 2022

Auction Theory and Applications被引用数 5

ひとこと要約

本稿では、分類タスクにおける機械学習における人間とAIの協働のための新しいフレームワークとして、模擬ボット取引者を用いて予測を集約する人工予測市場を提案する。シミュレーションを通じて、市場のパフォーマンスがハイパーパrameter、特に流動性に極めて敏感であることが示され、人間と類似したエージェント（例：GTinv）でさえも、少数であってもパフォーマンスを著しく低下させることを明らかにした。これは、ハイブリッド人間-AIシステムにおけるリスクと機会の両方を示している。

ABSTRACT

Despite high-profile successes in the field of Artificial Intelligence, machine-driven technologies still suffer important limitations, particularly for complex tasks where creativity, planning, common sense, intuition, or learning from limited data is required. These limitations motivate effective methods for human-machine collaboration. Our work makes two primary contributions. We thoroughly experiment with an artificial prediction market model to understand the effects of market parameters on model performance for benchmark classification tasks. We then demonstrate, through simulation, the impact of exogenous agents in the market, where these exogenous agents represent primitive human behaviors. This work lays the foundation for a novel set of hybrid human-AI machine learning algorithms.

研究の動機と目的

• 人工予測市場のハイパーパrameter選択が分類タスクにおけるパフォーマンスに与える影響を調査すること。
• 単純な人間の行動を模倣する外部エージェントが市場の結果に与える影響を評価すること。
• ハイブリッド人間-AI予測市場が、協働機械学習の新しいパラダイムとして実現可能かどうかを検討すること。
• 人工予測市場が、データが乏しいまたは複雑なタスクにおいて、従来の機械学習モデルのスケーラブルで頑健な代替手段として機能できるかどうかを評価すること。

提案手法

• 本研究では、遺伝的アルゴリズムを用いてエージェントを訓練する、数値的にシミュレートされた人工予測市場を用いる。
• エージェントには予算とベッティング関数が割り当てられ、訓練データにおける予測の正確性に応じてその資産が更新される。
• 市場のパフォーマンスは、ベンチマーク分類タスクにおけるF1スコアや正解率といった標準的な指標を用いて評価される。
• 外部エージェント（正解予測(GT)や逆予測(GTinv)を含む人間の行動を模倣）がエージェントプールに導入され、人間の参加をシミュレートする。
• 10の異なるデータセットを対象に、制御されたシミュレーションを通じて、エージェントの種別や市場パラメータ（例：流動性、エージェント数）を変化させた影響を測定する。
• エージェントの参加率と価格ダイナミクスを分析し、外部エージェントが自らの取引を超えて市場行動に与える影響を理解する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 単純な人工予測市場のパフォーマンスは、ハイパーパrameter選択にどのように依存するか？
• RQ2 RQ2: 単純な（人間と類似した）行動を模倣する外部エージェントの導入が、市場パフォーマンスに与える影響は何か？
• RQ3 RQ3: さまざまなタイプの外部エージェント（例：GT、GTinv、ランダム）が市場の安定性と予測精度に与える影響は何か？
• RQ4 RQ4: トレーニング済みエージェントの参加が、外部エージェントによって促進された場合、パフォーマンスの向上とどの程度相関するか？

主な発見

• GTinvエージェントを僅か0.1%追加しただけで、10のすべての市場で平均F1スコアが0.35未満に低下し、わずかな人間と類似したノイズに対しても極めて感受性が高いことが示された。
• GTinvエージェントを1%追加した場合、最良のベースライン市場のF1スコアは0.84から0.09に低下し、逆の人間行動が引き起こす深刻なパフォーマンス劣化が明らかになった。
• 流動性がパフォーマンスの主要な調整要因であることが特定され、高い流動性は劣悪なエージェント行動への感受性を低減することが分かった。
• パフォーマンスの劣化にもかかわらず、GTおよびGTinvエージェントの存在により、トレーニング済みエージェントの参加率が上昇した。これは、直接的でない市場レベルの影響を示唆している。
• ランダムエージェントはパフォーマンスにやや悪影響を与えたが、GTinvエージェントと比較してその影響は限定的であった。
• 結果から、人間参加者が正確で適切に統合されている場合、ハイブリッド予測市場は非常に効果的である可能性があるが、系統的な誤りを引き起こすと危険であることが示唆された。