[論文レビュー] BitTensor: A Peer-to-Peer Intelligence Market

Yuma Rao, Jacob Steeves+3 more|arXiv (Cornell University)|Mar 9, 2020

Reinforcement Learning in Robotics参考文献 16被引用数 5

ひとこと要約

BitTensorは、エージェントが相互に評価し合い、報酬が評価値と接続性に基づいて配分される、機械的知能のためのピアツーピア市場を提唱する。接続性に基づく正則化を導入することで、共謀を防ぎ、継続的にモデルを訓練し、情報理論的価値を生む貢献者に報酬を支払う、分散型で自己持続的なシステムを実現する。

ABSTRACT

As with other commodities, markets could help us efficiently produce machine intelligence. We propose a market where intelligence is priced by other intelligence systems peer-to-peer across the internet. Peers rank each other by training neural networks which learn the value of their neighbors. Scores accumulate on a digital ledger where high ranking peers are monetarily rewarded with additional weight in the network. However, this form of peer-ranking is not resistant to collusion, which could disrupt the accuracy of the mechanism. The solution is a connectivity-based regularization which exponentially rewards trusted peers, making the system resistant to collusion of up to 50 percent of the network weight. The result is a collectively run intelligence market which continual produces newly trained models and pays contributors who create information theoretic value.

研究の動機と目的

• 集団によるピア評価によって価値が決定される、分散型でピアツーピアの機械的知能市場を設計すること。
• ピア評価システムにおける共謀リスクが、評価値と報酬配分に歪みをもたらすのを是正すること。
• 信頼できるピアに指数関数的に高い影響を与える接続性に基づく正則化メカニズムを開発し、システムの強靭性を高めること。
• 継続的に新しいモデルを訓練し、情報理論的価値に基づいて公平に報酬を支払う、自己持続的エコシステムを構築すること。

提案手法

• ネットワーク内のエージェントは、共有された知能出力に基づいて、他のピアのパフォーマンスを予測・順位付けするためのニューラルネットワークを訓練する。
• ピア評価はデジタル・レッセに記録され、累積スコアが通貨報酬とネットワーク重みを決定する。
• 接続性に基づく正則化コンponentは、強固で検証済みの接続を持つピアに指数関数的に高い影響を与える。これにより、共謀への感受性が低下する。
• システムは評価スコアとネットワーク接続性の両方に基づいて報酬を動的に調整し、信頼できるノードを強化する。
• このメカニズムにより、ネットワーク重みの50％未満までが共謀に成功できないことが保証される。これは、低接続性または不審なピアに対して指数関数的ペナルティが課されるためである。
• 新しいモデルは、貢献と報酬のプロセスの副産物として、市場の継続的運用に伴い継続的に訓練・更新される。

実験結果

リサーチクエスチョン

• RQ1 分散型の機械的知能市場をどのように設計すれば、貢献の価格付けと報酬を公平に行えるか？
• RQ2 ピア評価システムが価値と報酬配分を決定するために使用される場合、どのようなメカニズムが共謀を防げるか？
• RQ3 接続性に基づく正則化は、評価に基づくネットワークにおける共謀への耐性をどのように向上させるか？
• RQ4 ネットワーク構造は、知能市場におけるピア評価の正確性と公平性にどのような影響を与えるか？
• RQ5 自己持続的システムは、継続的にモデルを生成・改善しつつ、貢献者を公平に報酬できるか？

主な発見

• 指数関数的ペナルティメカニズムのおかげで、ネットワーク全体の重みの50％未満までの共謀試みに対しても、システムは効果的に抵抗できる。
• 接続性に基づく正則化は、接続が強く信頼できるノードを優遇することで、ピア評価の強靭性を顕著に向上させる。
• 市場メカニズムにより、報酬と順位付けプロセスの副産物として、新しいモデルの継続的訓練が可能になる。
• 情報理論的価値を持つ出力を生成する貢献者は、評価スコアとネットワーク重みの蓄積を通じて体系的に報酬を受け取る。
• デジタル・レッセにより、ピア評価と報酬配分の透明性が保証され、改ざんが困難な追跡が可能になる。