[논문 리뷰] An experimental study of exhaustive solutions for the Mastermind puzzle

J. J. Merelo, Antonio M. Mora외 2명|arXiv (Cornell University)|2012. 07. 05.

Artificial Intelligence in Games참고 문헌 2인용 수 6

한 줄 요약

이 논문은 마스터민드 퍼즐에 대한 새로운 완전 탐색 전략을 제안하고 평가하며, 후보 이동 집합에 실제 해답을 포함시키는 데서 비롯되는 핵심적 역할을 강조한다. 이는 이 요소를 우선시하는 방법이 고전적 접근보다 우수한 성능을 보임을 보여주며, 엔트로피와 메이저 파트 히وري스틱을 융합한 하이브리드 스코어링 기법을 도입하여 최신 기법과 유사한 성능을 달성하면서도 진화 전략과 같은 비완전 탐색 알고리즘에 더 적합한 특성을 확보한다.

ABSTRACT

Mastermind is in essence a search problem in which a string of symbols that is kept secret must be found by sequentially playing strings that use the same alphabet, and using the responses that indicate how close are those other strings to the secret one as hints. Although it is commercialized as a game, it is a combinatorial problem of high complexity, with applications on fields that range from computer security to genomics. As such a kind of problem, there are no exact solutions; even exhaustive search methods rely on heuristics to choose, at every step, strings to get the best possible hint. These methods mostly try to play the move that offers the best reduction in search space size in the next step; this move is chosen according to an empirical score. However, in this paper we will examine several state of the art exhaustive search methods and show that another factor, the presence of the actual solution among the candidate moves, or, in other words, the fact that the actual solution has the highest score, plays also a very important role. Using that, we will propose new exhaustive search approaches that obtain results which are comparable to the classic ones, and besides, are better suited as a basis for non-exhaustive search strategies such as evolutionary algorithms, since their behavior in a series of key indicators is better than the classical algorithms.

연구 동기 및 목표

• 후보 이동 집합 내에 진짜 해답을 포함시키는 것이 마스터민드에서 완전 탐색 성능에 미치는 영향을 조사하기 위해.
• 히وري스틱 기반의 탐색 축소 전략만으로는 충분한지, 아니면 해답 포함 여부가 결정적 요소인지 평가하기 위해.
• 비완전 탐색 메타휴리스틱(예: 진화 알고리즘 등)의 기초로 더 적합한 새로운 완전 탐색 방법을 개발하고 테스트하기 위해.
• 기존의 탐색 공간 축소 외에 보완적인 새로운 경험적 평가 지표인 '비밀 코드를 후보로 선택할 확률'을 제안하기 위해.
• 더 큰 문제 인스턴스에 대해 완전 탐색 방법의 확장성과 계산 가능성을 평가하고, 향후 비완전 탐색 접근법의 지침을 제시하기 위해.

제안 방법

• 일관된 집합 정제와 히وري스틱 스코어 기반의 이동 선택을 사용하여, 일관된 조건 하에 여러 완전 탐색 알고리즘을 경험적으로 비교한다.
• 탐색 공간을 줄이고 해답 포함을 증가시키는 데 중점을 두어, 엔트로피와 메이저 파트 히وري스틱을 융합한 하이브리드 스코어 함수를 도입한다.
• 가능한 한 실제 해답을 포함하는 이동을 우선시하는 Plus2라는 새로운 방법을 구현하여 강건성을 향상시킨다.
• 평균 이동 수, 탐색 공간 축소, 그리고 비밀 코드를 후보 이동으로 선택할 확률이라는 세 가지 지표를 사용해 알고리즘 성능을 측정한다.
• 소규모 문제 인스턴스(κ=6,ℓ=4 및 κ=8,ℓ=4)에서의 경험적 테스트를 통해 신규 전략의 효과를 검증한다.
• 향후 비완전 탐색 방법(예: 진화 알고리즘)이 새로운 스코어 함수와 일관된 집합 크기를 기반으로 한 표본 크기 히وري스틱을 활용할 것을 제안한다.

실험 결과

연구 질문

• RQ1 후보 이동 집합에 진짜 해답이 포함되어 있을 경우, 마스터민드에서 완전 탐색 성능이 유의미하게 향상되는가?
• RQ2 전통적인 탐색 공간 축소 히وري스틱과 비교할 때, 비밀 코드를 후보로 선택할 확률은 알고리즘 효율성을 이끄는 데 얼마나 기여하는가?
• RQ3 엔트로피와 메이저 파트 히وري스틱을 융합한 하이브리드 스코어링 전략이 기존의 완전 탐색 방법보다 솔루션 속도와 강건성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 새로운 방법은 얼마나 큰 문제 인스턴스(예: κ=8,ℓ=4)까지 확장 가능한가? 그리고 계산적 병목 현상은 무엇인가?
• RQ5 이러한 발견은 더 큰 마스터민드 인스턴스를 해결하기 위해 비완전 탐색 전략(예: 진화 알고리즘)을 향상시키는 데 어떻게 활용될 수 있는가?

주요 결과

• 진짜 해답이 후보 이동 집합에 포함되어 있을 경우 탐색 성능이 유의미하게 향상되며, 이는 최고의 스코어를 보장하고 즉각 성공할 가능성을 높이기 때문이다.
• 실제 해답을 포함하는 이동을 우선시하는 Plus2 방법은 테스트된 문제 크기 전반에서 기존 최고의 고전적 방법과 동일하거나 더 우수한 성능을 보였다.
• 엔트로피와 메이저 파트 히وري스틱을 모두 사용한 하이브리드 스코어링은 각각을 별도로 사용할 경우보다 더 좋은 결과를 얻었으며, 특히 탐색 공간을 줄이면서도 해답 포함을 유지하는 데서 두드러졌다.
• 비밀 코드를 후보로 선택할 확률은 탐색 공간 축소 외에 고려되어야 할 중요한 지표로, 이전에는 과소평가된 바 있다. 알고리즘 설계 시 이 지표를 함께 고려해야 한다.
• κ=6,ℓ=4일 경우 알고리즘이 약 0.5초 내에 실행되며, κ=8,ℓ=4일 경우 약 5초가 소요된다. 이는 일관된 집합 내에서 이차적 비교가 발생함에 따라 비선형적인 시간 증가가 일어남을 시사한다.
• 일관된 집합 크기는 문제 크기에 따라 증가하지만, 동시에 진짜 해답이 포함될 확률도 증가하므로, 확장성과 향후 알고리즘 설계에 영향을 주는 복잡한 상호보완적 관계가 존재한다.