[論文レビュー] Chessboard and chess piece recognition with the support of neural networks

Maciej A. Czyzewski, Artur Laskowski+1 more|arXiv (Cornell University)|Aug 13, 2017

Image and Object Detection Techniques被引用数 4

ひとこと要約

本論文では、照明や角度の変化に強い、エンド・ツー・エンドのニューラルネットワークベースの手法を提案し、実世界の画像においてチェス盤と駒の検出・認識を実現する。この手法は、反復的な線分検出、格子点の局所化、および独自の畳み込みニューラルネットワーク（CNN）を用いた駒分類を組み合わせており、格子点検出で99.5%以上の精度、駒認識でほぼ95%の精度を達成した。これは、既存手法を著しく上回る結果である。

ABSTRACT

Chessboard and chess piece recognition is a computer vision problem that has not yet been efficiently solved. However, its solution is crucial for many experienced players who wish to compete against AI bots, but also prefer to make decisions based on the analysis of a physical chessboard. It is also important for organizers of chess tournaments who wish to digitize play for online broadcasting or ordinary players who wish to share their gameplay with friends. Typically, such digitization tasks are performed by humans or with the aid of specialized chessboards and pieces. However, neither solution is easy or convenient. To solve this problem, we propose a novel algorithm for digitizing chessboard configurations. We designed a method that is resistant to lighting conditions and the angle at which images are captured, and works correctly with numerous chessboard styles. The proposed algorithm processes pictures iteratively. During each iteration, it executes three major sub-processes: detecting straight lines, finding lattice points, and positioning the chessboard. Finally, we identify all chess pieces and generate a description of the board utilizing standard notation. For each of these steps, we designed our own algorithm that surpasses existing solutions. We support our algorithms by utilizing machine learning techniques whenever possible. The described method performs extraordinarily well and achieves an accuracy over $99.5\\%$ for detecting chessboard lattice points (compared to the $74\\%$ for the best alternative), $95\\%$ (compared to $60\\%$ for the best alternative) for positioning the chessboard in an image, and almost $95\\%$ for chess piece recognition.

研究の動機と目的

• 特別なハードウェアや制御された撮影環境を必要としない、実世界に適用可能な物理的チェス盤のデジタル化手法の開発。
• 変動する照明条件、撮影角度、盤のスタイルに起因する既存のチェス盤検出システムの限界を克服すること。
• 現在の最先端手法を上回る、チェス盤の局所化および駒認識の両方における精度の向上。
• 今後の研究を支援するため、公開可能な拡張されたデータセットの作成。
• 実用的応用、たとえばライブ大会のデジタル化、AI相手との統合、プレイヤー間での対局共有の実現。

提案手法

• 本手法は、画像を3段階のコアプロセスに反復的に処理する。まず、短い線分を長線に統合するように変更されたSLIDアルゴリズムを用いた直線検出。
• 格子点は、歪みや部分的遮蔽がある盤でもコーナーを特定可能な、独自に訓練された畳み込みニューラルネットワーク（CNN）を用いて検出する。
• 検出された線分と格子点の幾何的関係を分析することでチェス盤を局所化し、さまざまな角度や照明条件下でも頑健な位置決めを実現する。
• 駒認識は、CNNベースの分類器に、Stockfishチェスエンジンを用いた確率的フィルタリングを組み合わせることで、非現実的な配置を除外する。
• Stockfishからのフィードバックを統合し、予測を精緻化することで、一般的な誤分類（例：ビショップをポーンと誤認する）を低減する。
• 実際の大会放送から収集した新規で大規模なデータセットを整備し、今後の研究を支援するために公開した。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンシステムは、照明条件、撮影角度、盤のスタイルの変動がある実世界の画像においても、高精度なチェス盤検出を達成できるか？
• RQ2 従来の手法（Hough変換やChESSなど）と比較して、ニューラルネットワークベースの格子点検出器は、歪んだまたは遮蔽されたコーナーをどれほど効果的に処理できるか？
• RQ3 チェスエンジンの評価結果を統合することで、曖昧な状況における駒認識の精度はどの程度向上するか？
• RQ4 本手法は、現実的な条件下で、既存のオープンソースソリューションを上回る性能を示せるか？
• RQ5 本手法は、ライブチェス大会のデジタル化や、物理盤からの人間とAIの対局を可能にする実用的応用において、どの程度有効であるか？

主な発見

• 本手法は、格子点検出で99.5%の精度を達成した。これは、最高性能を誇るとされる代替手法（74%）を著しく上回るものである。
• チェス盤の局所化精度は95%に達し、最高性能の代替手法（60%）を大きく上回り、撮影角度や照明変動に対しても頑健であることが示された。
• 駒認識精度はほぼ95%に達し、これは、実世界でのゲームデジタル化に実用的に適用可能な最初の手法である。
• 格子点検出にCNNを用いることで、歪んだ点の誤分類が50%以上減少した。これは、ChESS分類器が真の正例の43%しか特定できなかったのと比較して顕著である。
• Stockfishチェスエンジンとの統合により、低確率の盤配置をフィルタリングすることで分類精度が著しく向上し、一般的な誤分類エラーが低減された。
• 本手法はすでに実用的関心を引き、複数のユーザーが実応用への導入を表明しており、学習データも今後の研究を支援するために公開された。