[논문 리뷰] Systematic N-tuple Networks for Position Evaluation: Exceeding 90% in the Othello League

Wojciech Jaśkowski|arXiv (Cornell University)|2014. 06. 05.

Artificial Intelligence in Games참고 문헌 22인용 수 5

한 줄 요약

이 논문은 오델로 보드에서 체력 평가를 위한 체계적 n-튜플 네트워크 아키텍처를 소개한다. 짧고 직선적인 2-튜플을 체계적이고 대칭적인 패턴으로 배치하여, 최소한의 288개의 가중치를 사용함으로써 오델로 리그에서 95.84%의 성능을 달성하였다. 이는 90%를 초과하며 이전의 모든 플레이어를 능가하는 성과이며, 랜덤한 뱀 모양의 n-튜플과는 대비되게 체계적인 배치 방식이 학습 효율성과 성능 향상에 크게 기여한다는 것을 보여준다.

ABSTRACT

N-tuple networks have been successfully used as position evaluation functions for board games such as Othello or Connect Four. The effectiveness of such networks depends on their architecture, which is determined by the placement of constituent n-tuples, sequences of board locations, providing input to the network. The most popular method of placing n-tuples consists in randomly generating a small number of long, snake-shaped board location sequences. In comparison, we show that learning n-tuple networks is significantly more effective if they involve a large number of systematically placed, short, straight n-tuples. Moreover, we demonstrate that in order to obtain the best performance and the steepest learning curve for Othello it is enough to use n-tuples of size just 2, yielding a network consisting of only 288 weights. The best such network evolved in this study has been evaluated in the online Othello League, obtaining the performance of nearly 96% --- more than any other player to date.

연구 동기 및 목표

• 체계적인 n-튜플 배치 방식이 오델로 체력 평가에서 학습 효율성과 성능 향상에 기여하는지 조사하기.
• 기존의 긴, 무작위로 생성된 뱀 모양의 n-튜플과 비교하여 짧고 직선적인 n-튜플(특히 크기 2)의 효과성을 평가하기.
• 오델로에서 강력한 체력 평가 함수를 학습하기 위해 최적의 n-튜플 크기를 결정하기.
• 실제 오델로 리그 환경에서 최적화된 n-튜플 네트워크의 성능을 평가하기.

제안 방법

• 저자는 8×8 오델로 보드 전역에 걸쳐 가능한 모든 직선적이고 대칭적인 선분에 대해 체계적으로 2-튜플(n=2)을 배치한 체계적 n-튜플 네트워크를 설계했다.
• 각 2-튜플은 최대 8개의 대칭 변형(회전 및 반사)으로 확장되어 보드 전체를 커버하고 보드 대칭성에 대해 불변성을 확보했다.
• 총 32개의 고유한 2-튜플이 있으며, 각각 9개의 가중치(대칭 확장 포함)를 가지므로 총 288개의 학습 가능한 파rameter를 가진다.
• 진화 전략을 사용하여 288개의 가중치를 최적화하였으며, 피트니스 평가로는 에psilon-오델로에서 강력한 히우리스틱 플레이어(swh)와의 자가 대결을 활용했다.
• 최종 네트워크는 온라인 오델로 리그에서 평가되었으며, 성능로 95.84% ± 0.0012를 기록했다.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 보드 뒤집기 대칭성을 네트워크에 통합했다.

실험 결과

연구 질문

• RQ1 짧고 직선적인 n-튜플의 체계적 배치가 랜덤한 뱀 모양의 n-튜플과 비교해 오델로 체력 평가에서 더 나은 학습과 성능을 이끌어내는가?
• RQ2 최소한의 파rameter로 높은 성능을 달성하기 위해 최적의 n-튜플 크기(예: 2, 3, 4)는 무엇인가?
• RQ3 체계적 n-튜플 배치 방식을 사용할 경우, 매우 작은 네트워크(288개의 가중치)가 오델로 리그에서 초인간 수준의 성능을 달성할 수 있는가?
• RQ4 최적화된 n-튜플 네트워크의 성능은 실제 경쟁 환경에서 기존의 최첨단 체력 평가 함수와 비교해 어떻게 나타나는가?

주요 결과

• 체계적 n-튜플 네트워크는 오직 288개의 가중치만을 사용하여 오델로 리그에서 95.84% ± 0.0012의 성능을 기록했으며, 90%를 초과하고 이전의 모든 플레이어를 능가했다.
• 2-튜플(n=2)만을 사용할 경우 최고의 성능를 기록했으며, 더 긴 n-튜플(n=3, 4)은 상당히 열악한 학습 곡선과 낮은 최종 점수를 보였다.
• 짧고 직선적인 2-튜플의 체계적 배치는 기존의 몇 개의 긴, 무작위로 생성된 뱀 모양의 n-튜플을 사용하는 방식보다 더 급격하고 효과적인 학습 곡선을 생성했다.
• 네트워크의 성능는 대칭성에 대해 뛰어난 내구성을 보였으며, 보드 뒤집기 대칭성을 활용하여 일반화 성능 향상과 과적합 감소를 달성했다.
• 최적화된 네트워크의 288개의 가중치만으로도 이전의 모든 오델로 플레이어를 오버커밍하는 데에 충분했으며, 아키텍처 설계가 모델 크기보다 더 중요한 요소임을 입증했다.
• 이 연구는 체계적 n-튜플 배치가 랜덤 n-튜플 생성 방식에 비해 매우 효과적인 대안임을 확인했으며, 특히 대칭성 인식 가중치 공유와 조합할 경우 더욱 뛰어난 성능을 발휘한다.