[논문 리뷰] Chessboard and chess piece recognition with the support of neural networks

Maciej A. Czyzewski, Artur Laskowski외 1명|arXiv (Cornell University)|2017. 08. 13.

Image and Object Detection Techniques인용 수 4

한 줄 요약

이 논문은 도전적인 조명 조건과 기울기 조건에서도 실세계 이미지에서 체스판과 기물을 탐지하고 인식할 수 있는 강건한 엔드 투 엔드 신경망 기반 방법을 제안한다. 이 방법은 반복적인 선 탐지, 격자점 위치 결정, 그리고 고유한 컨볼루션 신경망을 사용한 기물 분류를 조합하여, 격자점 탐지에서 99.5% 이상의 정확도와 기물 인식에서 거의 95%의 정확도를 달성하였으며, 기존 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Chessboard and chess piece recognition is a computer vision problem that has not yet been efficiently solved. However, its solution is crucial for many experienced players who wish to compete against AI bots, but also prefer to make decisions based on the analysis of a physical chessboard. It is also important for organizers of chess tournaments who wish to digitize play for online broadcasting or ordinary players who wish to share their gameplay with friends. Typically, such digitization tasks are performed by humans or with the aid of specialized chessboards and pieces. However, neither solution is easy or convenient. To solve this problem, we propose a novel algorithm for digitizing chessboard configurations. We designed a method that is resistant to lighting conditions and the angle at which images are captured, and works correctly with numerous chessboard styles. The proposed algorithm processes pictures iteratively. During each iteration, it executes three major sub-processes: detecting straight lines, finding lattice points, and positioning the chessboard. Finally, we identify all chess pieces and generate a description of the board utilizing standard notation. For each of these steps, we designed our own algorithm that surpasses existing solutions. We support our algorithms by utilizing machine learning techniques whenever possible. The described method performs extraordinarily well and achieves an accuracy over $99.5\\%$ for detecting chessboard lattice points (compared to the $74\\%$ for the best alternative), $95\\%$ (compared to $60\\%$ for the best alternative) for positioning the chessboard in an image, and almost $95\\%$ for chess piece recognition.

연구 동기 및 목표

• 특수 하드웨어나 통제된 촬영 조건 없이도 실제 체스판을 디지털화할 수 있는 강건하고 실용적인 방법을 개발하기 위해.
• 기존 체스판 탐지 시스템이 다양한 조명 조건, 기울기, 체스판 스타일에서 실패하는 데 기인한 한계를 해결하기 위해.
• 기존 최고 수준의 방법들을 뛰어넘어 체스판 위치 결정 및 기물 인식 정확도를 향상시키기 위해.
• 향후 체스판 인식 분야의 연구를 지원하기 위해 공개 가능한 향상된 데이터셋을 구축하기 위해.
• 실제 응용 분야, 예를 들어 라이브 토너먼트의 디지털화, AI 상대와의 통합, 플레이어 간 게임 공유를 가능하게 하기 위해.

제안 방법

• 이 방법은 세 가지 핵심 단계를 반복적으로 처리한다: 단순화된 SLID 알고리즘을 사용한 직선 탐지로, 짧은 선분을 더 긴 선으로 병합한다.
• 격자점은 기울어지거나 부분적으로 가려진 체스판에서도 모서리를 식별할 수 있도록 특화된 컨볼루션 신경망(CNN)을 사용하여 탐지한다.
• 탐지된 선과 격자점 간의 기하학적 관계를 분석하여 체스판을 국소화함으로써, 다양한 기울기와 조명 조건에서도 강건한 위치 결정이 가능하다.
• 기물 인식은 스톡피시 체스 엔진을 통한 확률적 필터링을 강화한 CNN 기반 분류기로 수행되며, 비현실적인 구성은 거부한다.
• 시스템은 스톡피시의 피드백을 통합하여 예측을 정밀하게 조정함으로써, 일반적인 실수인 비숍을 흑기수로 잘못 분류하는 문제를 줄인다.
• 실제 대회 방송에서 수집한 새로운 대규모 데이터셋을 정제하여 공개함으로써 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 시스템은 다양한 조명, 기울기, 체스판 스타일을 가진 실세계 이미지에서 높은 정확도로 체스판 탐지가 가능한가?
• RQ2 전통적인 방법(예: 허프 변환 또는 ChESS)과 비교해 신경망 기반 격자점 탐지기가 기울어지거나 가려진 모서리를 다룰 때 어떤가?
• RQ3 체스 엔진의 평가 기능을 통합함으로써 기하학적 불확실성 상황에서 기물 인식 정확도는 어느 정도 향상될 수 있는가?
• RQ4 실제 조건에서 기존 오픈소스 솔루션보다 체스판 국소화 및 기물 분류 성능을 뛰어넘을 수 있는가?
• RQ5 라이브 체스 토너먼트 디지털화나 실제 체스판에서 인간-AI 체스 전개를 가능하게 하는 실용적 응용에서 이 방법은 얼마나 효과적인가?

주요 결과

• 제안된 방법은 격자점 탐지 정확도가 99.5%에 도달하여, 최고의 대안 방법(74%)을 크게 뛰어넘었다.
• 체스판 국소화 정확도는 95%에 도달하였으며, 기존 최고의 대안 방법(60%)보다 뛰어나, 촬영 각도와 조명 변화에 강건함을 입증했다.
• 기물 인식 정확도는 거의 95%에 도달하여, 게임 디지털화에 실용적으로 적용 가능한 첫 번째 방법으로서의 가능성을 입증했다.
• 격자점 탐지에 CNN를 사용함으로써 기울어진 점에 대한 오분류를 ChESS 분류기 대비 50% 이상 감소시켰으며, ChESS는 진짜 양성 사례의 43%만 식별했다.
• 스톡피시 체스 엔진과의 통합은 낮은 확률의 체스판 구성은 거르는 방식으로 분류 정확도를 크게 향상시켰으며, 일반적인 오분류 오류를 줄였다.
• 이 방법은 실용적 관심을 끌었으며, 여러 사용자가 실제 응용에 도입할 의향을 밝혔고, 학습 데이터는 향후 연구를 지원하기 위해 공개되었다.