[논문 리뷰] The Game of Tetris in Machine Learning

Simón Algorta, Özgür Şimşek|arXiv (Cornell University)|2019. 05. 05.

Artificial Intelligence in Games참고 문헌 26인용 수 7

한 줄 요약

이 논문은 기계 학습에서 테트리스를 벤치마크로 사용하는 것에 대해 검토하며, 강화 학습, 유전 알고리즘, 동적 프로그래밍 등의 알고리즘적 접근 방식을 분석한다. 이러한 방법들은 뛰어난 점수를 기록하지만 여전히 전문가 수준의 인간 성능에 못 미친다는 점을 강조하며, 샘플 효율적인 학습, 특징 탐지, 순차적 결정 문제에서의 계층적 의사결정의 발전을 위한 핵심 시험대로서 테트리스의 중요성을 부각시킨다.

ABSTRACT

The game of Tetris is an important benchmark for research in artificial intelligence and machine learning. This paper provides a historical account of the algorithmic developments in Tetris and discusses open challenges. Handcrafted controllers, genetic algorithms, and reinforcement learning have all contributed to good solutions. However, existing solutions fall far short of what can be achieved by expert players playing without time pressure. Further study of the game has the potential to contribute to important areas of research, including feature discovery, autonomous learning of action hierarchies, and sample-efficient reinforcement learning.

연구 동기 및 목표

• 기계 학습 연구에서 테트리스를 해결하는 데 사용된 알고리즘적 접근 방식에 대한 종합적인 검토를 제공하는 것.
• 현재 기계 학습 기법을 사용할 때 전문가 수준의 성능를 달성하는 데 있어 핵심 과제를 규명하는 것.
• 특징 탐지 및 샘플 효율적인 강화 학습과 같은 핵심 인공지능 연구 분야의 발전을 위한 테트리스의 시험대 역할을 부각하는 것.
• 표준 20×10 그리드에서 표준화된 메트릭과 특징 세트를 사용해 방법 간 성능를 비교하는 것.
• 시간 압박 없이도 학습된 에이전트와 전문가 수준의 인간 플레이어 간 격차를 보여줌으로써 향후 연구를 촉진하는 것.

제안 방법

• 테트리스 연구에서 사용된 15개 이상의 알고리즘을 조사하고 분류하였으며, 이에는 근사 동적 프로그래밍, 정책 기반 강화 학습, 유전 알고리즘, 크로스 엔트로피 방법 등이 포함된다.
• 표준화된 20×10 그리드와 원래의 점수 기준(지운 선당 1점)을 사용하여 성능를 평가함으로써, 다양한 연구 간 비교가 가능하도록 하였다.
• 가치 함수 근사에서 사용된 특징 세트를 분석하였으며, 이에는 구멍, 열 기둥 높이, 행/열 전이, 웰 깊이, 착지 높이 등이 포함된다.
• 각 단계에서 최적의 테트리미노 배치를 선택하기 위해 학습된 또는 수작업으로 조정된 가중치를 사용한 선형 평가 함수를 적용하였다.
• 최소 제곱 정책 반복, 람다 정책 반복, 자연 정책 기반 강화 학습 등의 기법을 사용해 정책 학습을 수행하였다.
• 각 연구에서 기록한 최고 점수를 보고하였으며, 재현 가능성과 그리드 크기 일관성에 중점을 두었다.

실험 결과

연구 질문

• RQ1 학습을 통해 테트리스를 플레이하는 데 가장 효과적인 알고리즘적 접근 방식은 무엇이며, 성능는 어떻게 비교되는가?
• RQ2 현재 기계 학습 기법을 사용할 때 전문가 수준의 인간 플레이어 성능에 얼마나 도달하고 있는가?
• RQ3 다양한 특징 세트는 테트리스에서 가치 함수 근사의 성능에 어떤 영향을 미치는가?
• RQ4 순차적 결정 문제 환경인 테트리스에서 샘플 효율적인 학습을 달성하는 데 있어 핵심 과제는 무엇인가?
• RQ5 테트리스는 자율적 학습의 행동 계층과 특징 탐지 연구에 어떻게 기여할 수 있는가?

주요 결과

• 논문에서 보고된 가장 뛰어난 성능의 알고리즘은 델라체리(2003)가 수작업으로 조정한 컨트롤러로, 20×10 그리드에서 660,000줄을 지운 바 있으며, 이는 학습 기반 에이전트를 크게 초월한다.
• 보함 등(2005)이 제안한 유전 알고리즘 기반 접근 방식은 4.8억 줄을 지워 높은 성능를 보였으며, 진화적 탐색을 통한 성능 향상을 입증하였다.
• 카카데(2002)의 자연 정책 기반 강화 학습은 약 5,000줄을 기록하였고, 파리아스 및 반 로이(2006)는 선형 프로그래밍을 사용해 4,274줄을 달성하였다.
• 델라체리의 특징 세트(구멍, 착지 높이, 행/열 전이, 누적 웰, 침식된 셀)는 단순한 특징인 높이와 구멍만을 사용하는 것보다 훨씬 뛰어난 성능를 보였다.
• 가치 함수 근사에서 라디얼 기저 함수(RBF)의 사용은 특히 고차원 상태 공간에서 일반화 성능를 향상시켰다.
• 다양한 발전에도 불구하고, 아직까지도 학습 기반 방법이 시간 압박 없이 플레이하는 전문가 수준의 인간 플레이어 성능에 도달하지 못하고 있어 샘플 효율성과 전략적 계획 수립 분야에서 여전히 큰 연구 격차가 존재한다.