[論文レビュー] The MacGyver Test - A Framework for Evaluating Machine Resourcefulness and Creative Problem Solving

Vasanth Sarathy, Matthias Scheutz|arXiv (Cornell University)|Apr 26, 2017

Computability, Logic, AI Algorithms参考文献 9被引用数 8

ひとこと要約

この論文は、オープンワールド環境における機械の機転と創造的問題解決能力を評価するための形式的フレームワーク、マッギヴァー・テスト（MT）を紹介する。実世界の問題をマッギヴァー風問題（MGPs）としてモデル化することで、コルモゴロフ次元とソロモンフの帰納法を用いて、限られたツールと知識を用いて、新規で機転のきく解決策を生成・実行・改善する能力を測定する。これは、実用的知能を評価するためのチューリングテストの数学的に厳密な代替手段を提供する。

ABSTRACT

Current measures of machine intelligence are either difficult to evaluate or lack the ability to test a robot's problem-solving capacity in open worlds. We propose a novel evaluation framework based on the formal notion of MacGyver Test which provides a practical way for assessing the resilience and resourcefulness of artificial agents.

研究の動機と目的

• オープンワールドシナリオにおける機械の機転と創造性を評価するための実用的で形式的な手法の欠如に対処すること。
• 身体的エージェントにおける人間のような問題解決のレジリエンスと独創性を捉えるテストフレームワークを提案すること。
• 言語的またはタスク特化された評価を超えて、実世界の問題解決行動に重点を置いた、チューリングテストの形式的で数学的に根拠のある代替手段を提供すること。
• オープンエンドで適応的な知能をテストするための測定可能でスケーラブルな問題（MGPs）を定義することで、AI研究を導くこと。
• 複雑性理論と自動計画の根拠に基づいたフレームワークを通じて、実用的知能の概念を形式化すること。

提案手法

• マッギヴァー・テスト（MT）は、エージェントが限られたリソースを用いてオープンワールド問題を解決する能力を評価する形式的フレームワークとして定義される。
• マッギヴァー風問題（MGPs）は、初期状態、目的、利用可能なツールおよび環境的制約を備えた構造化された問題としてモデル化される。
• 資源の豊かさと創造性を定量化するための性能指標 $ R_{\rho} $ が提案され、解の洗練度と複雑性の低減に比例する。
• 期待される進行はソロモンフの事前分布を用いて計算される：$ M(\rho) = \sum_{\mu \in U} 2^{-K(\mu)} \cdot R_{\mu} $、ここで $ K(\mu) $ は測度 $ \mu $ のコルモゴロフ次元である。
• 将来の進行は条件付き確率を用いて予測される：$ M(\omega^{+} \mid \omega) = \frac{M(\omega^{+} \smallfrown \omega^{+})}{M(\omega)} $、より単純な継続が好まれる。
• このフレームワークは集合論、自動計画、計算可能性理論に根ざしており、問題の難易度とエージェント行動の形式的分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 限られたリソースを用いたオープンワールド環境における機械の機転と創造的問題解決能力を評価する形式的フレームワークを開発できるか？
• RQ2 「マッギヴァー風」問題解決の概念を、テスト可能な問題クラス（MGPs）として形式化できるか？
• RQ3 新規で非自明な問題を解決するエージェントの創造性と資源の豊かさを測定・比較するために、どのような数学的ツールが利用可能か？
• RQ4 コルモゴロフ次元のような複雑性理論的原則を用いて、エージェントの期待される進行を形式的に定量化できるか？
• RQ5 マッギヴァー・テストは、言語的またはタスク特化された評価を超えて、スケーラブルで原理的根拠のあるAI進捗のベンチマークとして、どの程度有効に機能するか？

主な発見

• マッギヴァー・テストは、オープンワールド問題解決における機械の機転と創造性を評価する形式的で数学的に厳密なフレームワークを提供する。
• このフレームワークは、限られたツールと環境的ヒントを巧みに活用する必要がある現実世界の挑戦をモデル化するマッギヴァー風問題（MGPs）の形式化に基づいている。
• 期待される進行は、資源の豊かさの可能性のある測度のソロモンフ事前分布を用いて計算され、より単純で洗練された解決策が好まれる。
• このフレームワークは、コルモゴロフ次元が低い戦略の継続を好むことで、将来のエージェント行動の予測を可能にし、オッカムの剃刀に整合する。
• コルモゴロフ次元は計算不能であるが、このフレームワークは計算可能な近似を許容するため、実用的応用が可能である。
• MTは、チューリングテストやタスクベースのチャレンジの代替手段として、形式的でスケーラブルな選択肢として位置づけられ、自律エージェントにおける実用的知能とレジリエンスに焦点を当てる。