[论文解读] Detecting Individual Decision-Making Style: Exploring Behavioral Stylometry in Chess

Reid McIlroy-Young, Russell Wang+3 more|arXiv (Cornell University)|Aug 2, 2022

Sports Analytics and Performance被引用 10

一句话总结

本文提出了一种基于Transformer的行為風格統計框架，僅憑棋步序列即可識別個人國際象棋玩家，在每名玩家僅使用100局標註對局的情況下，少樣本分類準確率達到98%。該方法能有效從業餘玩家推廣至特級大師級別的對局，揭示人類決策風格中的結構化模式，同時引發關於從數位痕跡中識別行為的倫理考量。

ABSTRACT

The advent of machine learning models that surpass human decision-making ability in complex domains has initiated a movement towards building AI systems that interact with humans. Many building blocks are essential for this activity, with a central one being the algorithmic characterization of human behavior. While much of the existing work focuses on aggregate human behavior, an important long-range goal is to develop behavioral models that specialize to individual people and can differentiate among them. To formalize this process, we study the problem of behavioral stylometry, in which the task is to identify a decision-maker from their decisions alone. We present a transformer-based approach to behavioral stylometry in the context of chess, where one attempts to identify the player who played a set of games. Our method operates in a few-shot classification framework, and can correctly identify a player from among thousands of candidate players with 98% accuracy given only 100 labeled games. Even when trained on amateur play, our method generalises to out-of-distribution samples of Grandmaster players, despite the dramatic differences between amateur and world-class players. Finally, we consider more broadly what our resulting embeddings reveal about human style in chess, as well as the potential ethical implications of powerful methods for identifying individuals from behavioral data.

研究动机与目标

• 開發一種可擴展、數據高效的識別方法，僅基於複雜領域中個體的行為決策進行識別。
• 形式化並解決行為風格統計問題——僅憑行動序列識別決策者。
• 探討在業餘國際象棋對局上訓練的模型是否能泛化至高階、分佈外的玩家（如特級大師）。
• 透過學習到的嵌入向量，揭示國際象棋中人類決策風格的結構性洞察。
• 探討在高風險AI應用中，從行為數據識別個人的倫理影響。

提出的方法

• 將說話人辨識中的廣義端到端（GE2E）損失適用于國際象棋步序領域，以學習嵌入表示。
• 採用基於Transformer的架構，將國際象棋步序編碼為密集且具有區分性的嵌入向量。
• 在少樣本分類設定下運行，每名玩家僅使用100局標註對局進行模型訓練。
• 在包含不同技能層級玩家（含業餘與特級大師）的公開國際象棋對局大數據集上進行訓練。
• 採用對比學習方法，最大化同一玩家嵌入之間的相似性，同時最小化不同玩家之間的相似性。
• 利用預訓練模型並在玩家特定的步序上進行微調，以提取個人決策風格特徵。

实验结果

研究问题

• RQ1 機器學習模型能否僅憑少量標註對局，準確識別國際象棋玩家的步序？
• RQ2 在業餘層級對局上訓練的模型，在多大程度上能泛化至特級大師級別的玩家？
• RQ3 學習到的嵌入向量在嵌入空間中揭示了哪些決策風格的結構性模式？
• RQ4 模型的嵌入向量如何反映玩家之間的風格相似性與差異性？
• RQ5 從行為風格統計角度識別個人，其行為數據的數位痕跡會帶來哪些倫理影響？

主要发现

• 所提出的方法僅使用每名玩家100局標註對局，即可在數千名候選人中實現98%的識別準確率。
• 儘管在風格與技能層級上存在顯著差異，模型仍能有效從業餘玩家泛化至特級大師級別對局。
• 玩家嵌入在嵌入空間中呈現出結構化的聚類，顯示出風格相似的玩家具有穩定的行為特徵。
• 模型成功識別出即使在多樣化技能層級下也能區分個人的獨特決策模式。
• 本研究突顯了行為風格統計帶來的隱私風險，特別是僅憑極少量行為數據即可唯一識別個人的可能性。
• 該方法展現出強大的可擴展性與數據效率，無論在準確率還是計算效率上均優於先前方法。