[論文レビュー] Real-World AI Evaluation: How FRAME Generates Systematic Evidence to Resolve the Decision-Maker's Dilemma

Reva Schwartz, Gabriella Waters|arXiv (Cornell University)|Feb 28, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

FRAME は、ユーザーエントロピーを実用的な実装指向の証拠へと変換する、大規模テストと文脈観察を組み合わせた実世界のAI評価フレームワークを提案します。

ABSTRACT

The rapid expansion of AI deployments has put organizational leaders in a decision maker's dilemma: they must govern these technologies without systematic evidence of how systems behave in their own environments. Predominant evaluation methods generate scalable, abstract measures of model capabilities but smooth over the heterogeneity of real world use, while user focused testing reveals rich contextual detail yet remains small in scale and loosely coupled to the mechanisms that shape model behavior. The Forum for Real World AI Measurement and Evaluation (FRAME) addresses this gap by combining large scale trials of AI systems with structured observation of how they are used in context, the outcomes they generate, and how those outcomes arise. By tracing the path from an AI system's output through its practical use and downstream effects, FRAME turns the heterogeneity of AI in use into a measurable signal rather than a trade off for achieving scale. FRAME establishes two core assets to accomplish this: a Testing Sandbox that captures AI use under real workflows at scale and a Metrics Hub that translates those traces into actionable indicators.

研究の動機と目的

• モデル中心のベンチマークと展開ニーズのギャップを、実際の利用 context でAIを捉えることによって埋める。
• 誰が、どのようなアウトカムとともにAIを使用しているかを観察するための、スケーラブルで標準化されたインフラを提供する。
• 観察結果をサイトやセクター横断で比較可能な意思決定準備指標へ翻訳する。
• 既存のベンチマークを補完し、リスク評価と価値実現を支える展開志向のエビデンスを提供する。
• 抽象的なスコアではなく、構造化された文脈証拠を通じてリーダーの意味づけを促進する。

提案手法

• Testing Sandbox を二つの平行ストリームで開発する：Remote Participant Panels と Scripted Chatbot Runs。
• 共通シナリオ、ロギング、シナリオ固有のルーブリックを用いて、使用、非使用、信頼、放棄を記述する。
• LLM-as-judge を適用して、パネリストおよびスクリプト出力を同じルーブリックでラベル付けし、平行な記述コードを作成する。
• Metrics Hub を確立して、サンドボックスの成果を六つのファミリーの指標と文脈的洞察へ翻訳する。
• 分散型FRAMEコンソーシアム内で中央集権的なメソッド研究所を運用し、スピード、再現性、サイト横断の比較可能性を確保する。

Figure 2: The current evaluation ecosystem uses methods that mirror the traditional AI development lifecycle, often neglecting user entropy and suppressing the context needed to make sense of outcomes for decision-making. (Generative artificial intelligence was used to support the creation of this g

実験結果

リサーチクエスチョン

• RQ1 AI-in-use をスケールでモデル化して、文脈を超えたユーザーエントロピーと高次効果を明らかにするにはどうすればよいか？
• RQ2 現実世界の設定でAIの有用性、摩擦、リスク、価値を最もよく説明する展開志向指標は何か？
• RQ3 自動化（LLM-as-judge）と人間の基づく記述は、サンドボックス評価でどのように整合するか、あるいは乖離するか？
• RQ4 サンドボックス試験のエビデンスを標準化して、分野を超えた展開判断を支えるにはどうすればよいか？

主な発見

• FRAME はパネリストの痕跡とスクリプト化されたチャットボット実行を組み合わせて、実世界の使用と自動評価の間のギャップを浮き彫りにする。
• デュアルストリームのスコアリングエンジンは、システム挙動の記述コードを出力し、文脈間の摩擦と価値を比較して識別できる。
• Metrics Hub は出力を六つの指標ファミリーに分類し、セクター横断および展開間の比較を可能にする。
• 実世界評価は、使用、アウトカム、下流効果を結びつけることで展開判断を支える構造化されたエビデンス層を提供する。
• FRAME はユーザーエントロピーをモデル評価の統計的ノイズではなく、意味づけの中心シグナルとして位置づける。
• サンドボックスインフラは、機密データを公開せずにサイト間でのポリシーテストとシステム比較を可能にする。

Figure 3: An example of how three knowledge layers build up evidence across contexts to address the decision‑maker’s dilemma. (Generative artificial intelligence was used to support the creation of this graphic representing the authors’ own ideas, data, and words on this topic.)