[論文レビュー] A Model of Artificial Jagged Intelligence

Joshua Gans|arXiv (Cornell University)|Jan 12, 2026

Advanced Bandit Algorithms Research被引用数 0

ひとこと要約

この論文はAIの jaggedness（AJI）の経済モデルを提示する。局所的な信頼性はタスクごとに異なり、普及は発見性・キャリブレーション・熟達度に依存する。平均的な性能だけではない。

ABSTRACT

Generative AI systems often display highly uneven performance across tasks that appear ``nearby'': they can be excellent on one prompt and confidently wrong on another with only small changes in wording or context. We call this phenomenon Artificial Jagged Intelligence (AJI). This paper develops a tractable economic model of AJI that treats adoption as an information problem: users care about \emph{local} reliability, but typically observe only coarse, global quality signals. In a baseline one-dimensional landscape, truth is a rough Brownian process, and the model ``knows'' scattered points drawn from a Poisson process. The model interpolates optimally, and the local error is measured by posterior variance. We derive an adoption threshold for a blind user, show that experienced errors are amplified by the inspection paradox, and interpret scaling laws as denser coverage that improves average quality without eliminating jaggedness. We then study mastery and calibration: a calibrated user who can condition on local uncertainty enjoys positive expected value even in domains that fail the blind adoption test. Modelling mastery as learning a reliability map via Gaussian process regression yields a learning-rate bound driven by information gain, clarifying when discovering ``where the model works'' is slow. Finally, we study how scaling interacts with discoverability: when calibrated signals and user mastery accelerate the harvesting of scale improvements, and when opacity can make gains from scaling effectively invisible.

研究の動機と目的

• 知識労働環境における局所的な信頼性の異質性がAIの普及と生産性にどう影響するかを説明する。
• ポアソン知識点過程とブラウン運動的真実景観を結ぶ扱いやすいベースラインモデルを導入する。
• 盲目的使用下の普及閾値を導出し、経験的誤差における検査パラドックスの役割を分析する。
• 拡大（より密な知識カバレッジ）とキャリブレーションが福利と鋭敏さの縮退効果をどのように変えるかを研究する。
• 熟達度とインターフェース設計が生産的な人間–AI協働のための原モデル改善を補完する方法を暴露する。

提案手法

• 知識点を強度λのポアソン点過程として表現し、カバレッジ密度を表す。
• Y(x) の真実景観をブラウン運動として表現し、知識点間の粗い補間リスクを生成する。
• 隣接する知識点間の補間に対する事後分散 σ^2(x) を計算する。 σ^2(x) = (x-x_i)(x_{i+1}-x)/(x_{i+1}-x_i).
• ユーザーの利得 U(x) = 1 - σ^2(x)/q を定義し、盲目使用（外部選択肢0）の下で普及を分析する。
• 盲目普及の下での普及閾値を導出する： q >= 1/(3 λ)（同値により R >= 1、R = 3 λ q）。
• 比較基準としてキャリブレーションを導入し、ユーザーが σ^2(x) を観測することで R に依存する正の価値 U_C(R) を示す。

実験結果

リサーチクエスチョン

• RQ1 局所的・タスクレベルの信頼性の異質性が opacity の下でAIの普及と福祉にどう影響するか？
• RQ2 タスク固有の信頼性信号なしにAIに依存する場合の普及閾値はどうなるか？
• RQ3 スケーリング（より密なカバレッジ、より大きな λ）は予想誤差と鋭敏さをどう変えるか？
• RQ4 キャリブレーションまたは熟達度はAJIの下でAI支援の価値とその普及をどう変えるか？
• RQ5 拡大・キャリブレーション・熟達度の間の補完性や代替性は何か、普及閾値次第で異なるか？
• RQ6 インスペクション・パラドックス：経験的誤差がどう拡張されるか（知識点間の長いギャップにユーザーがより長く留まるため）。

主な発見

• 盲目的普及は、信頼性指標 R = 3 λ q が少なくとも1以上の場合にのみ最適になりうる。
• スケーリング（λの増加）は局所後方分散を低減するが、鋭敏さの形状は依然として残る。
• キャリブレーションは鋭敏さをオプション価値に変換し、盲目使用と比較して正の福利増を生む。
• 熟達度は情報利得によって支配される学習率をもたらす；高次元空間ではモデルが機能する場所での学習は遅いことがある。
• 補完性が存在する：スケーリングとキャリブレーション／熟達度は普及閾値次第で代替にも補完にもなり得る。インターフェース設計はモデル全体の改善なしでも発見性を支援できる。
• モデルは検査パラドックスを強調する：経験的誤差は、知識点間の長いギャップによりユーザーがより多くの時間を費やすため拡大される。