[논문 리뷰] Artificial prediction markets present a novel opportunity for human-AI collaboration

Tatiana Chakravorti, Vaibhav Pratap Singh외 7명|arXiv (Cornell University)|2022. 11. 29.

Auction Theory and Applications인용 수 5

한 줄 요약

이 논문은 분류 작업을 위한 인간-AI 협업을 위한 새로운 프레임워크로 인공 예측 시장을 제안하며, 시뮬레이션된 봇 트레이더를 사용하여 예측을 집계한다. 시뮬레이션을 통해 시장 성능이 하이퍼파rameter—특히 유동성—에 매우 민감하게 영향을 받음을 입증하고, 인간 유사 에이전트(예: GTinv)가 조그만 수준이라도 성능을 극적으로 악화시킬 수 있음을 보여주며, 하이브리드 인간-AI 시스템의 잠재적 위험과 기회를 부각시킨다.

ABSTRACT

Despite high-profile successes in the field of Artificial Intelligence, machine-driven technologies still suffer important limitations, particularly for complex tasks where creativity, planning, common sense, intuition, or learning from limited data is required. These limitations motivate effective methods for human-machine collaboration. Our work makes two primary contributions. We thoroughly experiment with an artificial prediction market model to understand the effects of market parameters on model performance for benchmark classification tasks. We then demonstrate, through simulation, the impact of exogenous agents in the market, where these exogenous agents represent primitive human behaviors. This work lays the foundation for a novel set of hybrid human-AI machine learning algorithms.

연구 동기 및 목표

• 인공 예측 시장의 성능에 영향을 미치는 하이퍼파ram터 선택 방식이 분류 작업에 어떻게 영향을 미치는지 조사하기.
• 기본적인 인간 행동을 시뮬레이션하는 외부 에이전트가 시장 결과에 미치는 영향을 평가하기.
• 하이브리드 인간-AI 예측 시장이 협업 기반 기계 학습의 새로운 범주로 가능한지 탐색하기.
• 인공 예측 시장이 자료가 부족하거나 복잡한 작업에서 기존 기계 학습 모델에 비해 확장 가능하고 견고한 대안이 될 수 있는지 평가하기.

제안 방법

• 연구는 기계 학습된 봇 트레이더로 구성된 수치적 시뮬레이션된 인공 예측 시장을 사용하며, 에이전트 훈련을 위해 유전적 알고리즘을 활용한다.
• 에이전트들은 예산과 베팅 함수를 부여받으며, 훈련 데이터 기반 예측 정확도에 따라 자산을 갱신한다.
• 표준 평가 지표(예: F1-score, 정확도)를 사용하여 벤치마크 분류 작업에서의 시장 성능을 평가한다.
• 외부 에이전트—정확한(GT) 및 반전된(GTinv) 예측을 포함한 인간 행동을 시뮬레이션하는 것—을 에이전트 풀에 통합하여 인간 참여를 시뮬레이션한다.
• 10개의 서로 다른 데이터셋을 대상으로 제어된 시뮬레이션을 통해 에이전트 유형과 시장 파라미터(예: 유동성, 에이전트 수)의 변화가 미치는 영향을 측정한다.
• 에이전트의 참여율과 가격 동적 변화를 분석하여, 외부 에이전트가 자신의 거래 외부로도 시장 행동에 영향을 미치는 방식을 이해한다.

실험 결과

연구 질문

• RQ1 RQ1: 단순한 인공 예측 시장의 성능은 하이퍼파ram터 선택에 어떻게 의존하는가?
• RQ2 RQ2: 단순한(인간 유사) 행동을 시뮬레이션하는 외부 에이전트의 포함 여부가 시장 성능에 어떤 영향을 미치는가?
• RQ3 RQ3: 다양한 유형의 외부 에이전트(GT, GTinv, 무작위 등)가 시장 안정성과 예측 정확도에 어떤 영향을 미치는가?
• RQ4 RQ4: 기인한 외부 에이전트에 의해 유도된 훈련된 에이전트의 참여 증가가 성능 향상과 어느 정도 상관관계를 가지는가?

주요 결과

• 단지 0.1%의 GTinv 에이전트를 추가함으로써 10개의 모든 시장에서 평균 F1-score가 0.35 이하로 떨어졌으며, 이는 조그만 수준의 인간 유사 노이즈에 매우 민감한 성능을 보임을 시사한다.
• 1%의 GTinv 에이전트가 포함된 경우, 최고 성능를 보였던 베이스라인 시장의 F1 점수는 0.84에서 0.09로 급격히 하락했으며, 이는 반전된 인간 행동이 성능에 심각한 악영향을 미칠 수 있음을 보여준다.
• 유동성이 성능의 핵심 조절 변수로 규명되었으며, 높은 유동성은 열악한 에이전트 행동에 대한 민감도를 감소시켰다.
• 성능 저하가 있었음에도 불구하고, GT 및 GTinv 에이전트의 존재로 인해 훈련된 에이전트의 참여율이 증가했으며, 이는 간접적인 시장 수준의 영향을 시사한다.
• 무작위 에이전트는 성능에 다소 부정적인 영향을 미쳤지만, GTinv 에이전트에 비해 그 영향은 제한적이었다.
• 결과적으로 인간 참가자가 정확하고 잘 통합된 경우 하이브리드 예측 시장은 매우 효과적일 수 있으나, 체계적인 오류를 유발할 경우 위험할 수 있음을 시사한다.