[论文解读] AI for the Generation and Testing of Ideas Towards an AI Supported Knowledge Development Environment

Ted Selker|arXiv (Cornell University)|Jul 17, 2023

Scientific Computing and Data Management被引用 4

一句话总结

本文提出了一种混合人工智能系统——生成与搜索测试（GASt），该系统将生成式AI的创意生成能力与基于搜索的事实验证相结合，以支持知识工作者开发可靠且可追溯的创意。通过整合生成式草稿与溯源感知的搜索，该系统在提升创意生成效率的同时确保了准确性，减少了人为偏见，并支持对解决方案的迭代优化。

ABSTRACT

New systems employ Machine Learning to sift through large knowledge sources, creating flexible Large Language Models. These models discern context and predict sequential information in various communication forms. Generative AI, leveraging Transformers, generates textual or visual outputs mimicking human responses. It proposes one or multiple contextually feasible solutions for a user to contemplate. However, generative AI does not currently support traceability of ideas, a useful feature provided by search engines indicating origin of information. The narrative style of generative AI has gained positive reception. People learn from stories. Yet, early ChatGPT efforts had difficulty with truth, reference, calculations, and aspects like accurate maps. Current capabilities of referencing locations and linking to apps seem to be better catered by the link-centric search methods we've used for two decades. Deploying truly believable solutions extends beyond simulating contextual relevance as done by generative AI. Combining the creativity of generative AI with the provenance of internet sources in hybrid scenarios could enhance internet usage. Generative AI, viewed as drafts, stimulates thinking, offering alternative ideas for final versions or actions. Scenarios for information requests are considered. We discuss how generative AI can boost idea generation by eliminating human bias. We also describe how search can verify facts, logic, and context. The user evaluates these generated ideas for selection and usage. This paper introduces a system for knowledge workers, Generate And Search Test, enabling individuals to efficiently create solutions previously requiring top collaborations of experts.

研究动机与目标

• 解决当前生成式AI系统中创意缺乏可追溯性的问题，这些系统往往掩盖了生成内容的来源。
• 通过利用AI提出多样化且上下文相关的替代方案，减少人类在创意生成过程中的认知偏见。
• 将生成式AI的创造性潜能与搜索引擎的事实可靠性相结合，以实现稳健的知识开发。
• 设计一种系统，使知识工作者能够在不依赖专家协作的情况下高效生成并测试创意。
• 使用户能够通过集成的搜索功能和溯源追踪，评估、优化和验证AI生成的创意。

提出的方法

• 系统使用大型语言模型（LLMs）根据用户查询生成多个上下文上可行的创意。
• 将生成的创意视为草稿，鼓励用户进行迭代优化与评估。
• 集成搜索引擎以验证生成创意中的事实性陈述、逻辑一致性和上下文准确性。
• 该架构支持混合工作流，即AI负责创意生成，而搜索则提供可追溯的来源与参考文献。
• 系统强调采用叙事风格的输出，以增强用户的理解力与参与感。
• 用户可将生成的创意与外部来源关联，确保溯源性，并支持推理过程的可审计性。

实验结果

研究问题

• RQ1 如何增强生成式AI以支持可追溯的创意开发，同时不损害其创造力？
• RQ2 基于搜索的验证在多大程度上能提升AI生成创意的可靠性？
• RQ3 将生成式AI与搜索技术结合，如何减少创意生成过程中的认知偏见？
• RQ4 叙事结构在提升用户对AI生成创意的理解与参与感方面发挥何种作用？
• RQ5 混合系统在知识开发任务中为何能优于独立的生成式或基于搜索的方法？

主要发现

• 将生成式AI与搜索技术结合，能够生成既具创造性又具备事实可追溯性的创意。
• 得益于关联的来源与可验证的陈述，用户能够自信地评估和优化AI生成的创意。
• 该系统通过自动化创意生成与验证工作流，减少了对专家协作的依赖。
• 与原始数据或列表相比，生成式AI提供的叙事风格输出更易理解且更具吸引力。
• 通过外部验证，该方法缓解了早期LLMs常见的缺陷，如事实错误与推理能力差。
• 混合模型支持创意的迭代发展，使用户能够将草稿逐步演变为可靠且可执行的解决方案。