[論文レビュー] CIRCLE: A Framework for Evaluating AI from a Real-World Lens

Reva Schwartz, Carina E. I. Westling+13 more|arXiv (Cornell University)|Feb 27, 2026

Ethics and Social Impacts of AI被引用数 2

ひとこと要約

CIRCLEは、ステークホルダーの懸念を測定可能な信号へ翻訳し、それを下流効果に結びつけることで、実世界展開におけるAIを評価する六段階のライフサイクルフレームワークを提案する。

ABSTRACT

This paper proposes CIRCLE, a six-stage, lifecycle-based framework to bridge the reality gap between model-centric performance metrics and AI's materialized outcomes in deployment. Current approaches such as MLOps frameworks and AI model benchmarks offer detailed insights into system stability and model capabilities, but they do not provide decision-makers outside the AI stack with systematic evidence of how these systems actually behave in real-world contexts or affect their organizations over time. CIRCLE operationalizes the Validation phase of TEVV (Test, Evaluation, Verification, and Validation) by formalizing the translation of stakeholder concerns outside the stack into measurable signals. Unlike participatory design, which often remains localized, or algorithmic audits, which are often retrospective, CIRCLE provides a structured, prospective protocol for linking context-sensitive qualitative insights to scalable quantitative metrics. By integrating methods such as field testing, red teaming, and longitudinal studies into a coordinated pipeline, CIRCLE produces systematic knowledge: evidence that is comparable across sites yet sensitive to local context. This, in turn, can enable governance based on materialized downstream effects rather than theoretical capabilities.

研究の動機と目的

• AI展開におけるモデル中心のベンチマークと実世界の成果のギャップを橋渡しする。
• AIスタックを超えた展開ステークホルダーのための体系的知識を生成する方法、ツール、プロセスを形式化する。
• TEVVベースのパイプラインに、文脈の抽出、設計、試験、分析、洞察、継続的監視を統合する。
• 外部ステークホルダーにとって重要な構成を、観測可能な行動と定量的指標に運用可能化する。
• 材料化された下流効果に焦点を当て、抽象的な能力よりガバナンスの意思決定を支援する。

提案手法

• 六段階ライフサイクル：Contextualize, Identify, Represent, Compare, Learn, Extend.
• ステークホルダーの懸念を観測可能な指標へ翻訳する運用化スキームを構築する。
• 現場試験、レッドチーミング、長期的研究などの手法を、単一で追跡可能なパイプラインへ統合する。
• Metricsを名指しの構成とステークホルダーの成果に結びつけるTEVV対応の検証。
• 参加型で文脈依存性のある方法と、大規模な自動試験の組み合わせ。
• 複数の組織レベルでのドリフトと実使用の進化を検知する継続的監視。

Figure 1: The CIRCLE framework, illustrating its iterative structure and the primary outputs produced at each stage.

実験結果

リサーチクエスチョン

• RQ1 AIスタック外のステークホルダーの懸念を、評価可能な構成へ翻訳するにはどうすればよいか。
• RQ2 定性的な文脈的洞察を、現実世界の環境で定量的指標へ結びつける一貫した評価パイプラインをどう作るか。
• RQ3 AI展開の高次・下流の効果（二次・三次効果）を最もよく捉える方法は何か。
• RQ4 構成中心のTEVVライフサイクルを実装する際のコスト・複雑性・妥当性のトレードオフは何か。
• RQ5 継続的監視が文脈仕様と評価設計にどうフィードバックし、継続的ガバナンスを支援するか。

主な発見

• ステークホルダーの抽出、レッドチーミング、長期的監視を統合した六段階ライフサイクルを提案。
• 展開文脈の懸念から始まり、拡張可能で文脈認識の証拠へと至る、構成中心のTEVVプロセスを提供。
• 定性的なステークホルダーの懸念を、正式な構成運用化スキームを通じて観測可能な行動と指標へ結びつける。
• モデル出力だけでなく、下流の組織的・社会的影響を含む高次効果を捉えることを目指す。
• 文脈の豊かさとスケーラブルな試験性を両立させ、現場間の比較可能性を確保しつつ地域的関連性を維持。
• 実世界の評価には組織資源と学際的能力が必要であり、コストと速度のトレードオフはあるが妥当性はより強化される。

Figure 2: Tracing a stakeholder‑specified concern about over‑reliance on an AI chatbot through the full lifecycle, from construct formation to observable behavior and longer‑term outcomes in an EdTech classroom.