[논문 리뷰] BitTensor: A Peer-to-Peer Intelligence Market

Yuma Rao, Jacob Steeves외 3명|arXiv (Cornell University)|2020. 03. 09.

Reinforcement Learning in Robotics참고 문헌 16인용 수 5

한 줄 요약

BitTensor는 기계 지능에 대한 피어to피어 시장을 제안하며, 에이전트들이 상호 평가 점수를 신경망을 통해 평가하고, 명성과 연결성에 기반해 보상을 배분한다. 연결성 기반 정규화 기법을 도입하여 공모를 저항하고, 지속 가능한 분산형 시스템을 구현하여 지속적으로 모델을 훈련시키고 정보 이론적 가치를 창출하는 기여자에게 보상을 제공한다.

ABSTRACT

As with other commodities, markets could help us efficiently produce machine intelligence. We propose a market where intelligence is priced by other intelligence systems peer-to-peer across the internet. Peers rank each other by training neural networks which learn the value of their neighbors. Scores accumulate on a digital ledger where high ranking peers are monetarily rewarded with additional weight in the network. However, this form of peer-ranking is not resistant to collusion, which could disrupt the accuracy of the mechanism. The solution is a connectivity-based regularization which exponentially rewards trusted peers, making the system resistant to collusion of up to 50 percent of the network weight. The result is a collectively run intelligence market which continual produces newly trained models and pays contributors who create information theoretic value.

연구 동기 및 목표

• 공동 피어 평가에 의해 가치가 결정되는 분산형 피어 투 피어 기계 지능 시장 설계
• 피어 랭킹 시스템에서 발생할 수 있는 공모 위험을 해결하여 명성 및 보상 배분의 왜곡 방지
• 신뢰할 수 있는 피어에게 기하급수적으로 높은 영향력을 부여함으로써 시스템의 강건성을 향상시키는 연결성 기반 정규화 메커니즘 개발
• 지속적으로 새로운 모델을 훈련하고 기여자에게 정보 이론적 가치에 기반해 공정하게 보상하는 자율 수익 시스템 구축

제안 방법

• 네트워크 내 에이전트들이 공유된 지능 출력을 바탕으로 상대방의 성능을 예측하고 랭킹하는 데 목적이 있는 신경망을 훈련한다.
• 피어 랭킹은 디지털 레거시에 기록되며, 누적 점수는 금전적 보상과 네트워크 웨이트를 결정한다.
• 연결성 기반 정규화 구성요소는 강력하고 검증된 연결을 가진 피어에게 기하급수적으로 높은 영향력을 부여하여 공모에 대한 취약성을 감소시킨다.
• 시스템은 명성 점수와 네트워크 연결성을 기반으로 보상을 동적으로 조정하여 신뢰할 수 있는 노드를 강화한다.
• 이 메커니즘은 최대 50%의 네트워크 웨이트가 공모를 성공적으로 수행할 수 없도록 보장한다. 이는 저연결성 또는 의심스러운 피어에게 기하급수적 페널티를 적용하기 때문이다.
• 기여와 보상에 의해 유도되는 시장의 지속적 운영 과정에서 새로운 모델이 지속적으로 훈련되고 업데이트된다.

실험 결과

연구 질문

• RQ1 어떻게 공정하게 기여를 가격화하고 보상하는 분산형 기계 지능 시장 설계가 가능한가?
• RQ2 피어 랭킹 시스템에서 가치와 보상 배분을 결정하는 데 사용되는 공모를 방지할 수 있는 메커니즘은 무엇인가?
• RQ3 연결성 기반 정규화는 명성 기반 네트워크에서의 공모 저항력을 어떻게 향상시키는가?
• RQ4 네트워크 구조는 지능 시장에서 피어 랭킹의 정확성과 공정성에 어떤 영향을 미치는가?
• RQ5 자기 유지를 유지하는 시스템은 기여자에게 공정하게 보상하면서도 지속적으로 새로운 모델을 생성하고 개선할 수 있는가?

주요 결과

• 기하급수적 페널티 메커니즘 덕분에 최대 50%의 네트워크 웨이트를 포함한 공모 시도를 성공적으로 저지할 수 있다.
• 연결성 기반 정규화는 잘 연결된 신뢰할 수 있는 노드를 우선시함으로써 피어 랭킹의 강건성을 크게 향상시킨다.
• 시장 메커니즘은 보상 및 랭킹 과정의 부산물로 새로운 모델의 지속적 훈련을 가능하게 한다.
• 정보 이론적 가치를 창출하는 기여자는 명성 및 네트워크 웨이트 축적을 통해 체계적으로 보상받는다.
• 디지털 레거시는 피어 랭킹 및 보상 배분의 투명하고 변조 방지된 추적을 보장한다.