[論文レビュー] An Alternative Trajectory for Generative AI

Margarita Belova, Yuval Kansal+3 more|arXiv (Cornell University)|Mar 14, 2026

Big Data and Digital Economy被引用数 0

ひとこと要約

この論文は、Explicit abstractions と小規模なドメイン専門家のモジュール社会を活用して、モノリシックな LLM のスケーリングよりもエネルギー使用を抑えつつ堅牢な推論を達成するドメイン固有の超知能（DSS）アプローチを提案します。データ、抽象化、システム設計の原則を概説し、持続可能でデバイス搭載のドメイン重視型 AI エコシステムを実現します。

ABSTRACT

The generative artificial intelligence (AI) ecosystem is undergoing rapid transformations that threaten its sustainability. As models transition from research prototypes to high-traffic products, the energetic burden has shifted from one-time training to recurring, unbounded inference. This is exacerbated by reasoning models that inflate compute costs by orders of magnitude per query. The prevailing pursuit of artificial general intelligence through scaling of monolithic models is colliding with hard physical constraints: grid failures, water consumption, and diminishing returns on data scaling. This trajectory yields models with impressive factual recall but struggles in domains requiring in-depth reasoning, possibly due to insufficient abstractions in training data. Current large language models (LLMs) exhibit genuine reasoning depth only in domains like mathematics and coding, where rigorous, pre-existing abstractions provide structural grounding. In other fields, the current approach fails to generalize well. We propose an alternative trajectory based on domain-specific superintelligence (DSS). We argue for first constructing explicit symbolic abstractions (knowledge graphs, ontologies, and formal logic) to underpin synthetic curricula enabling small language models to master domain-specific reasoning without the model collapse problem typical of LLM-based synthetic data methods. Rather than a single generalist giant model, we envision "societies of DSS models": dynamic ecosystems where orchestration agents route tasks to distinct DSS back-ends. This paradigm shift decouples capability from size, enabling intelligence to migrate from energy-intensive data centers to secure, on-device experts. By aligning algorithmic progress with physical constraints, DSS societies move generative AI from an environmental liability to a sustainable force for economic empowerment.

研究の動機と目的

• 現状のスケール依存的 LLM パラダイムの持続可能性と推論の限界を批判的に評価する。
• 明示的抽象と体系的合成カリキュラムに基づくドメイン固有の超知能（DSS）アーキテクチャを提案する。
• 抽象化からターゲット訓練データを生成し、小規模言語モデルに構成的推論を教える方法を説明する。
• 大規模なモノリスを使わず、専門バックエンド間でタスクをルーティングするモジュール化された、エッジ対応の DSS エコシステムを概説する。

提案手法

• 高品質でドメイン固有のデータを優先するボトムアップの軌道を提唱する（ウェブ規模コーパスの巨大さよりも）。
• 明示的抽象化（知識グラフ、オントロジー、形式論理）を用いて体系的な合成カリキュラムを生成する。
• ドメイン専門バックエンドへタスクをルーティングするオーケストレーションエージェントを備えたモジュラーな DSS モブロット社会を描く。
• ニューロ象徴的成分と合成データの統合により推論能力をブーストする。
• 評価プロトコル、エネルギー展開分析、医療、工学、教育の事例研究を強調する。

Figure 1 : A conceptual workflow for domain-specialized reasoning with LLMs. Stages may be combined or iterated.

実験結果

リサーチクエスチョン

• RQ1 一般知能と狭義スキルのポートフォリオを区別する最小限の能力は何か？
• RQ2 効率を維持しつつ、AI モデルの幅と深さをどうバランスさせるべきか？
• RQ3 スケール時の訓練データ漏洩と真の一般化をどのように信頼性高く分離するか？
• RQ4 抽象化を DSS の効果的なカリキュラムと生産パイプラインへどのように変換できるか？
• RQ5 専門モデルをモジュール化システムへ統合し、継続学習と安全な導入を支援するにはどうするか？

主な発見

• 高品質でドメイン固有のデータは、深さ・精度・安全性の点でより大きなノイズの多いコーパスよりも優れる可能性がある。
• 明示的抽象化は構成的推論と根拮立てられた検証可能な訓練信号を可能にする。
• 抽象化から導かれる構造化された合成データは、小規模モデルを訓練して深いドメイン推論を達成させる。
• モジュラーな DSS 社会アプローチは能力とサイズを切り離し、エッジ展開の専門家システムを支援する。

Figure 2 : Overview of the GraphMERT framework. (I) : Unified representation (Ic) combines syntactic knowledge from text (Ib) with semantic examples that include domain-specific relations from a seed KG (Ia) . (II) : GraphMERT is trained on semantic examples unified with their syntactic context (IIa