[論文レビュー] Contextual Personal Intelligence: A New Paradigm for AI That Evolves With You

Patrick Lewis, Ethan Perez+10 more|arXiv (Cornell University)|Jul 8, 2025

Topic Modeling参考文献 59被引用数 2,938

ひとこと要約

本稿では、事前学習済みseq2seq生成モデルと、ニューラルリトリーバを介してアクセス可能なWikipediaの濃密ベクトルインデックスを組み合わせたハイブリッドフレームワーク、Retrieval-Augmented Generation (RAG) を紹介する。生成モデルとリトリーバーをエンドツーエンドで共同微調整することにより、RAGはオープンドメイン質問応答タスクで最先端の結果を達成し、パrametricモデル単体よりも事実に基づいており、より具体的かつ多様なテキストを生成することができる。

ABSTRACT

Contextual Personal Intelligence (CPI) is a new paradigm for artificial intelligence — one that evolves with the individual over time, shaped by memory, meaning, rhythm, and developmental phase. CPI integrates four co-evolved systems (Polymeta, ARC, ATLAS, AURORA) to create adaptive, relational, and life-aware AI. This white paper outlines the architectural foundation, philosophical implications, and roadmap for this new intelligence.

研究の動機と目的

• 純粋なパラメトリック言語モデルが知識集約的NLPタスクにおいて抱える限界、たとえば事実の整合性の欠如、解釈可能性の低さ、知識の更新の困難さを是正すること。
• タスク固有の再トレーニングを伴わずに、事前学習済みコンponentsを統合する一般用途の微調整レシピを検討すること。
• 外部知識を動的にアクセス・推論可能にする仕組みを提供し、リアルタイムの更新と出典追跡を可能にすること。
• パラメトリック記憶（一般化能力）と非パラメトリック記憶（事実の根拠）の長所を組み合わせることで生成品質を向上させること。
• エンドツーエンドでのリトリーバ・生成モデルの微調整が、純粋なパラメトリックモデルやタスク固有の抽出アーキテクチャを上回ることを実証すること。

提案手法

• モデルは、入力クエリの埋め込みに基づいて、トップ-KのWikipediaのパassageを検索する事前学習済みニューラルリトリーバー（Dense Passage Retriever, DPR）を使用する。
• 検索されたパassageは、入力と検索されたドキュメントの両方を条件として出力する、事前学習済みseq2seq生成モデル（BART）のコンテキストとして使用される。
• 検索されたドキュメントの確率的マージナライゼーションを採用する——出力ごとに同一のドキュメントを使用する（per-output）か、トークンごとに異なるドキュメントを使用する（per-token）かのいずれかにより、コンテキストの関連性を向上させる。
• 生成モデルとリトリーバーは、標準的なseq2seq学習目的関数を用いてエンドツーエンドで共同微調整される。
• 非パラメトリック記憶（Wikipediaインデックス）は、モデルの再トレーニングなしに独立して更新可能であり、動的な知識更新を可能にする。
• 抽出的および生成的タスクの両方をサポートする。タスク例として、オープンドメインQA、質問生成、事実検証が含まれる。

実験結果

リサーチクエスチョン

• RQ1 リトリーブ補強生成フレームワークは、知識集約的NLPタスクにおいて、純粋なパラメトリックseq2seqモデルを上回ることができるか？
• RQ2 リトリーバー・生成モデルシステムのエンドツーエンド微調整が、生成テキストの事実の整合性と多様性に与える影響は何か？
• RQ3 RAGは、タスク固有の事前学習なしに、複数のオープンドメインNLPタスクで最先端のパフォーマンスを達成できるか？
• RQ4 非パラメトリック記憶は、現実世界の知識の変更を反映するために、どの程度独立して更新可能か？
• RQ5 出力ごと（per-output）とトークンごと（per-token）のドキュメントマージナライゼーションの選択が、モデルのパフォーマンスに与える影響は何か？

主な発見

• RAGは、Natural Questions、WebQuestions、CuratedTrecの3つのオープンドメイン質問応答ベンチマークで最先端の結果を達成し、パラメトリックseq2seqモデルおよびタスク固有のリトリーブ・エクストラクトアーキテクチャを上回った。
• TriviaQAでは、特化した事前学習なしに一般用途アーキテクチャを用いたにもかかわらず、最良のパイプラインモデルから4.3%以内の性能を達成した。
• 人間による評価では、RAGが生成した回答はBARTベースラインよりも好まれており、事実の整合性と具体的さの面で優れていた。
• MS-MARCOおよびJeopardy質問生成タスクにおいて、RAGはBART単体のベースラインよりも多様性と具体的さに優れたテキストを生成した。
• 非パラメトリック記憶は、生成モデルの再トレーニングなしに、新しいインデックス（例：更新された医療・科学的知識）に即座に入れ替え可能であり、動的な知識更新を可能にした。
• 学習されたリトリーバーは高い有効性を示し、正確で根拠に基づいた生成を支援する関連性の高いWikipediaパassageを効果的に検索した。