[논문 리뷰] Solving the Rubik's Cube Without Human Knowledge

Stephen McAleer, Forest Agostinelli외 2명|arXiv (Cornell University)|2018. 05. 18.

Artificial Intelligence in Games참고 문헌 19인용 수 18

한 줄 요약

이 논문은 자율학습과 몬테카를로 트리 탐색(MCTS)을 유일한 도구로 사용하여 3x3x3 루빅스 큐브를 처음부터 학습하는 강화학습 알고리즘인 자동학습 반복(ADI)을 소개한다. 이 알고리즘은 인간이 제공한 도메인 지식이나 보상 형상 조정 없이도 중앙값 해결 이동 수가 30회인 성능을 달성하여 인간이 설계한 솔버와 비슷한 수준에 도달한다.

ABSTRACT

A generally intelligent agent must be able to teach itself how to solve problems in complex domains with minimal human supervision. Recently, deep reinforcement learning algorithms combined with self-play have achieved superhuman proficiency in Go, Chess, and Shogi without human data or domain knowledge. In these environments, a reward is always received at the end of the game, however, for many combinatorial optimization environments, rewards are sparse and episodes are not guaranteed to terminate. We introduce Autodidactic Iteration: a novel reinforcement learning algorithm that is able to teach itself how to solve the Rubik's Cube with no human assistance. Our algorithm is able to solve 100% of randomly scrambled cubes while achieving a median solve length of 30 moves -- less than or equal to solvers that employ human domain knowledge.

연구 동기 및 목표

• 인간의 감독이나 도메인 특화 지식 없이도 루빅스 큐브를 해결할 수 있는 강화학습 에이전트를 개발하는 것.
• 최종 목표 상태에서만 보상 신호가 제공되는 조합 최적화 환경에서의 희박한 보상 문제를 해결하는 것.
• 자기학습 반복 학습을 통해 최적의 가치 함수와 정책을 추정하는 딥 뉴럴 네트워크를 훈련하는 것.
• 에이전트가 복잡한 전략, 예를 들어 공명 패턴과 같은 고급 인간 속도 큐빙 기법에 해당하는 전략을 스스로 발견할 수 있음을 보여주는 것.
• 이를 바탕으로 단백질 접힘과 같은 다른 조합 최적화 문제로 확장 가능한 가치 함수 학습의 이식성에 기여하는 것.

제안 방법

• 자기학습 반복(ADI)을 제안하며, 이는 반복적으로 딥 뉴럴 네트워크의 가치 함수와 정책 함수를 향상시키는 자기학습 훈련 루프이다.
• 목표 상태에서 너비 우선 탐색(BFS)을 사용해 합성 훈련 데이터를 생성하며, 최대 연산자를 사용해 각 상태의 최적 수익을 재귀적 가치 백업을 통해 추정한다.
• BFS에서 유도된 타깃을 사용해 지도학습 방식으로 가치 네트워크를 훈련하며, 네트워크 자체의 예측을 사용해 미래 가치 추정을 부트스트랩한다.
• 예측된 가치를 최대화하는 행동을 기반으로 정책 타깃을 구성함으로써 종단 간 정책 학습을 가능하게 한다.
• 훈련된 신경망을 몬테카를로 트리 탐색(MCTS)과 결합해 추론 과정에서 효율적인 솔루션 탐색을 수행한다.
• 해결 경로에 대한 슽딩 윈도우 분석을 통해 반복적으로 나타나는 이동 패턴, 예를 들어 $aba^{-1}$ 공명 패턴을 식별하고 정량화한다.

실험 결과

연구 질문

• RQ1 자기학습 반복 학습과 보상 형상 조정 없이 인간이 제공한 지식 없이도 강화학습 에이전트가 루빅스 큐브를 해결할 수 있는가?
• RQ2 순수한 자기대화와 가치 함수 학습을 통해 에이전트가 복잡한 인간 유사 해결 전략—예를 들어 공명 패턴—을 발견할 수 있는가?
• RQ3 자기학습 가치 함수 학습과 MCTS의 조합이 희박한 보상 환경에서 샘플 효율적이고 고성능의 해결을 가능하게 하는가?
• RQ4 학습된 가치 함수가 4.3×10^19개의 가능한 큐브 상태를 고려해 높은 성공률과 낮은 이동 수로 해결할 수 있는가?
• RQ5 이 프레임워크는 희박한 보상과 큰 상태 공간을 가진 다른 조합 최적화 문제로 얼마나 넓게 확장 가능한가?

주요 결과

• 제안된 에이전트인 DeepCube는 무작위로 뒤섞인 3x3x3 루빅스 큐브 구성 100%를 성공적으로 해결한다.
• DeepCube는 1/4턴 기준으로 중앙값 해결 이동 수가 30회를 기록하며, 인간이 설계한 히وري스틱 기반 솔버와 동일하거나 뛰어난 성능을 보인다.
• 에이전트는 $aba^{-1}$ 공명 패턴을 발견하고 활발히 활용하며, 이는 고급 인간 속도 큐빙 기법의 상징적 특징이다.
• 해결 경로에서 가장 자주 사용된 14개의 이동 트리플렛은 정확히 $aba^{-1}$ 공명 구조와 일치하며, 전략적 학습을 시사한다.
• 공명 트리플렛의 분포는 비공명 트리플렛보다 유의미하게 더 자주 나타나며 평균 빈도가 높아 전략적 선호도를 반영한다.
• 에이전트는 해결 과정의 초반에 2x2x2 모서리 조각을 우선적으로 형성하고, 그 후에 모서리와 모서리 조각을 쌍지어 맞추고 위치를 조정하는 전략을 택한다—이는 알려진 인간 해결 전략과 일치한다.