[論文レビュー] AI for the Generation and Testing of Ideas Towards an AI Supported Knowledge Development Environment

Ted Selker|arXiv (Cornell University)|Jul 17, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

本論文は、生成AIのアイデア創出機能と検索ベースの事実検証を組み合わせたハイブリッドAIシステム、Generate And Search Test (GASt) を提案する。このシステムは、知識作業者が信頼性が高く、追跡可能なアイデアを開発するのを支援することを目的としている。生成的ドラフト作成とプロバンセンスに配慮した検索を統合することで、アイデア生成の質を高めつつ、正確性を確保し、人間のバイアスを低減し、解法の反復的改善を可能にする。

ABSTRACT

New systems employ Machine Learning to sift through large knowledge sources, creating flexible Large Language Models. These models discern context and predict sequential information in various communication forms. Generative AI, leveraging Transformers, generates textual or visual outputs mimicking human responses. It proposes one or multiple contextually feasible solutions for a user to contemplate. However, generative AI does not currently support traceability of ideas, a useful feature provided by search engines indicating origin of information. The narrative style of generative AI has gained positive reception. People learn from stories. Yet, early ChatGPT efforts had difficulty with truth, reference, calculations, and aspects like accurate maps. Current capabilities of referencing locations and linking to apps seem to be better catered by the link-centric search methods we've used for two decades. Deploying truly believable solutions extends beyond simulating contextual relevance as done by generative AI. Combining the creativity of generative AI with the provenance of internet sources in hybrid scenarios could enhance internet usage. Generative AI, viewed as drafts, stimulates thinking, offering alternative ideas for final versions or actions. Scenarios for information requests are considered. We discuss how generative AI can boost idea generation by eliminating human bias. We also describe how search can verify facts, logic, and context. The user evaluates these generated ideas for selection and usage. This paper introduces a system for knowledge workers, Generate And Search Test, enabling individuals to efficiently create solutions previously requiring top collaborations of experts.

研究の動機と目的

• 生成AIシステムにおけるアイデアの追跡可能性の欠如という問題に取り組む。現状、生成されたコンテンツの出典が不明瞭である。
• AIを活用して多様で文脈的に関連する代替案を提示することで、アイデア創出における人間の認知バイアスを低減する。
• 生成AIの創造的潜在能力と検索エンジンの事実的信頼性を統合し、強固な知識開発を実現する。
• 専門家との協働に依存せずに、知識作業者が効率的にアイデアを生成・検証できるシステムを設計する。
• 統合された検索とプロバンセンス追跡を通じて、ユーザーがAI生成アイデアを評価・改善・検証できるようにする。

提案手法

• システムは大規模言語モデル（LLMs）を用いて、ユーザーのクエリに応じて文脈的に妥当な複数のアイデアを生成する。
• 生成されたアイデアはドラフトとして扱われ、反復的改善とユーザーによる評価を促進する。
• 検索エンジンを統合し、生成されたアイデアの事実的主張、論理的整合性、文脈的正確性を検証する。
• アーキテクチャは、AIがアイデアを生成し、検索が追跡可能な出典と参照を提供するハイブリッドワークフローをサポートする。
• ユーザーの理解と関与を高めるために、物語形式の出力を重視する。
• ユーザーは生成されたアイデアを外部出典にリンクさせることができ、プロバンセンスを確保し、推論の監査可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成AIをどのように拡張すれば、創造性を損なわずに追跡可能なアイデア開発を支援できるか？
• RQ2 検索ベースの検証は、AI生成アイデアの信頼性をどのように向上させるか？
• RQ3 生成AIと検索を統合することで、アイデア創出における人間バイアスはどのように低減されるか？
• RQ4 物語的構造は、AI生成アイデアの理解とユーザーの関与をどのように高めるか？
• RQ5 ハイブリッドシステムは、単独の生成AIまたは検索ベースのアプローチに比べて、知識開発タスクでどのように優れているか？

主な発見

• 生成AIと検索の統合により、創造的でありながら事実の追跡が可能なアイデアの創出が可能になった。
• 関連する出典と検証可能な主張がリンクされているため、ユーザーはAI生成アイデアを自信をもって評価・改善できる。
• アイデア生成と検証ワークフローの自動化により、専門家との協働に依存する必要が軽減された。
• 生成AIが提供する物語形式の出力は、生データやリストよりも関与度が高く、理解しやすいと認識された。
• 外部検証により、初期のLLMsが抱える一般的な弱み（事実の不正確さや推論の劣化）が緩和された。
• ハイブリッドモデルは反復的アイデア開発を支援し、ユーザーがドラフトを信頼性が高く、実行可能な解決策へと進化させられる。