[논문 리뷰] The MacGyver Test - A Framework for Evaluating Machine Resourcefulness and Creative Problem Solving

Vasanth Sarathy, Matthias Scheutz|arXiv (Cornell University)|2017. 04. 26.

Computability, Logic, AI Algorithms참고 문헌 9인용 수 8

한 줄 요약

이 논문은 개방형 환경에서 기계의 유능함과 창의적 문제 해결 능력을 평가하기 위한 공식적 프레임워크인 맥기버 테스트(MT)를 소개한다. 실제 문제를 맥기버 스타일 문제(MGPs)로 모델링함으로써, 이 프레임워크는 쿨모고로프 복잡도와 솔로몬오프 인도션을 사용하여 한정된 도구와 지식을 바탕으로 새로운 해결책을 생성하고 실행하며 개선하는 데에 있어 에이전트의 능력을 측정한다. 이는 실용적 지능을 평가하기 위한 튜링 테스트의 수학적으로 엄밀한 대안을 제공한다.

ABSTRACT

Current measures of machine intelligence are either difficult to evaluate or lack the ability to test a robot's problem-solving capacity in open worlds. We propose a novel evaluation framework based on the formal notion of MacGyver Test which provides a practical way for assessing the resilience and resourcefulness of artificial agents.

연구 동기 및 목표

• 개방형 시나리오에서 기계의 유능함과 창의성에 대한 실용적이고 공식적인 평가 방법의 부족을 해결하기 위해.
• 신체화된 에이전트에서 인간과 유사한 문제 해결 내성과 창의성을 포괄하는 테스트 프레임워크를 제안하기 위해.
• 실제 문제 해결 행동에 중점을 두어 실용적 지능을 평가하는 데에 초점을 맞춘 튜링 테스트의 공식적이고 수학적으로 기반을 둔 대안을 제공하기 위해.
• 오픈엔드, 적응형 지능을 시험할 수 있는 측정 가능하고 확장 가능한 문제(MGPs)를 정의함으로써 AI 연구를 이끌기 위해.
• 복잡도 이론과 자동 계획 기반의 프레임워크를 통해 실용적 지능의 개념을 공식화하기 위해.

제안 방법

• 맥기버 테스트(MT)는 한정된 자원을 사용하여 개방형 문제를 해결하는 데에 있어 에이전트의 능력을 평가하기 위한 공식적 평가 프레임워크로 정의된다.
• 맥기버 스타일 문제(MGPs)는 초기 상태, 목표, 가용 도구 및 환경적 제약 조건을 갖는 구조화된 문제로 모델링된다.
• 자원적이고 창의적인 해결 능력을 정량화하기 위해 성능 지표 $ R_{\rho} $ 가 제안되며, 이는 해결책의 우아함과 복잡도 감소 비례한다.
• 기대 진전은 솔로몬오프 사전을 사용하여 계산된다: $ M(\rho) = \sum_{\mu \in U} 2^{-K(\mu)} \cdot R_{\mu} $, 여기서 $ K(\mu) $ 는 측정치 $ \mu $ 의 쿨모고로프 복잡도이다.
• 미래 성능은 조건부 확률을 통해 예측된다: $ M(\omega^{+} \mid \omega) = \frac{M(\omega^{+} \smallfrown \omega^{+})}{M(\omega)} $, 더 단순한 계속 가능성에 가중치를 두며.
• 이 프레임워크는 집합 이론, 자동 계획, 계산 가능성 이론에 기반하여 문제의 난이도와 에이전트 행동의 공식적 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 개방형 환경에서 자원적이고 창의적인 문제 해결 능력을 바탕으로 한 기계 지능 평가를 위한 공식적 프레임워크를 개발할 수 있는가?
• RQ2 '맥기버 스타일' 문제 해결 개념을 시험 가능 문제 유형(MGPs)으로 공식화할 수 있는가?
• RQ3 새로운 비트레이드 문제를 해결하는 데에 있어 에이전트의 창의성과 자원적 능력을 측정하고 비교하는 데에 사용할 수 있는 수학적 도구는 무엇인가?
• RQ4 쿨모고로프 복잡도와 같은 복잡도 이론 원리를 사용하여 에이전트의 기대 진전을 공식적으로 정량화할 수 있는가?
• RQ5 맥기버 테스트는 언어적 또는 작업 특정 평가를 초월하여 AI 진전을 평가하기 위한 확장 가능하고 원칙적인 벤치마크로 얼마나 효과적으로 활용될 수 있는가?

주요 결과

• 맥기버 테스트는 개방형 문제 해결에서 기계의 유능함과 창의성을 평가하기 위한 공식적이고 수학적으로 엄밀한 프레임워크를 제공한다.
• 이 프레임워크는 실제 문제 해결에 있어 제한된 도구와 환경적 단서를 창의적으로 활용하는 데 요구되는 맥기버 스타일 문제(MGPs)의 공식화에 기반한다.
• 기대 진전은 자원적 능력 측정치에 대한 솔로몬오프 사전을 사용하여 계산되며, 더 단순하고 우아한 해결책에 가중치를 두고 있다.
• 이 프레임워크는 쿨모고로프 복잡도가 낮은 전략의 계속 가능성에 가중치를 두어 미래의 에이전트 행동을 예측할 수 있게 하며, 오카무의 면모와 일치한다.
• 쿨모고로프 복잡도는 계산 불가능하지만, 이 프레임워크는 계산 가능한 근사치를 허용하여 실용적으로 적용 가능하다.
• MT는 언어적 또는 작업 중심 평가를 초월하여 실용적 지능과 자율 에이전트의 내성성을 강조하는 공식적이고 확장 가능한 튜링 테스트의 대안으로 위치지어진다.