[論文レビュー] Detecting Individual Decision-Making Style: Exploring Behavioral Stylometry in Chess

Reid McIlroy-Young, Russell Wang+3 more|arXiv (Cornell University)|Aug 2, 2022

Sports Analytics and Performance被引用数 10

ひとこと要約

本論文は、1人1人のチェス選手をその手の順序から特定するためのトランスフォーマー基盤の行動スタイルメトリー枠組みを導入し、1人あたり100局のラベル付きゲームのみを用いて少サンプル分類で98％の正確度を達成した。この手法は、アマチュアからグランドマスタークラスのプレイまで一般化し、人間の意思決定スタイルに一貫したパターンを明らかにするとともに、デジタル痕跡からの行動同定に関する倫理的懸念を提起する。

ABSTRACT

The advent of machine learning models that surpass human decision-making ability in complex domains has initiated a movement towards building AI systems that interact with humans. Many building blocks are essential for this activity, with a central one being the algorithmic characterization of human behavior. While much of the existing work focuses on aggregate human behavior, an important long-range goal is to develop behavioral models that specialize to individual people and can differentiate among them. To formalize this process, we study the problem of behavioral stylometry, in which the task is to identify a decision-maker from their decisions alone. We present a transformer-based approach to behavioral stylometry in the context of chess, where one attempts to identify the player who played a set of games. Our method operates in a few-shot classification framework, and can correctly identify a player from among thousands of candidate players with 98% accuracy given only 100 labeled games. Even when trained on amateur play, our method generalises to out-of-distribution samples of Grandmaster players, despite the dramatic differences between amateur and world-class players. Finally, we consider more broadly what our resulting embeddings reveal about human style in chess, as well as the potential ethical implications of powerful methods for identifying individuals from behavioral data.

研究の動機と目的

• 複雑なドメインにおける行動的意思決定に基づいて個々の人物をスケーラブルかつデータ効率的に同定するための方法を開発すること。
• 行動的スタイルメトリーという問題を形式化し、行動の系列からの意思決定者を同定することを解決すること。
• アマチュアのチェスプレイで訓練されたモデルが、グランドマスタークラスの外れ分布のプレーヤーを同定できるかどうかを調査すること。
• 学習された埋め込みから、チェスにおける人間の意思決定スタイルの構造的洞察を明らかにすること。
• とりわけ、ハイステイクスなAIアプリケーションにおける、行動データからの個人同定の倫理的含意を検討すること。

提案手法

• 埋め込み学習のために、話者認証分野で使われる一般化されたエンドツーエンド（GE2E）損失をチェス手順の分野に適応する。
• トランスフォーマー基盤のアーキテクチャを用いて、チェス手の系列を密な、判別性の高い埋め込みに変換する。
• 1人あたり100局のラベル付きゲームのみを用いる少サンプル分類設定で動作する。
• アマチュアからグランドマスターまで多様なスキルレベルのプレーヤーの公開済みチェスゲームの大量データセットを用いて訓練する。
• 同じプレーヤーの埋め込み間の類似性を最大化し、異なるプレーヤー間の類似性を最小化するため、対照的学習を採用する。
• 事前学習モデルを活用し、プレーヤー固有の手順に微調整を加えることで、個々の意思決定シグネイチャーを抽出する。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付きゲームのみを用いて、機械学習モデルがチェスプレーヤーをその手順から正確に同定できるか？
• RQ2 アマチュアレベルのプレイで訓練されたモデルが、グランドマスタークラスのプレーヤーをどの程度一般化して同定できるか？
• RQ3 埋め込み空間における学習済み埋め込みから、意思決定スタイルに関するどのような構造的パターンが明らかになるか？
• RQ4 モデルの埋め込みが、プレーヤー間のスタイルの類似性と相違点をどのように反映するか？
• RQ5 行動的スタイルメトリーを用いて、デジタル意思決定痕跡から個人を同定することは、どのような倫理的含意を伴うか？

主な発見

• 提案手法は、1人あたり100局のラベル付きゲームのみを用いて、数千人中の1人を同定する際、98％の正確度を達成した。
• プレーヤーのスタイルやスキルに顕著な違いがあるにもかかわらず、モデルはアマチュアからグランドマスタークラスのプレイへの一般化を効果的に実現した。
• プレーヤーの埋め込みは、スタイル的に類似したプレーヤーが埋め込み空間に構造的なクラスタリングを形成しており、一貫した行動的シグネイチャーを示している。
• モデルは、多様なスキルレベルを越えて、個々のプレーヤーを区別する特徴的な意思決定パターンを効果的に同定した。
• 本研究は、行動的スタイルメトリーに伴うプライバシーリスク、特に最小限の行動データから個人を一意に同定できる可能性を浮き彫りにした。
• 本手法は高いスケーラビリティとデータ効率性を示し、精度と計算効率の両面で先行手法を上回った。