[논문 리뷰] AI for the Generation and Testing of Ideas Towards an AI Supported Knowledge Development Environment

Ted Selker|arXiv (Cornell University)|2023. 07. 17.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 지식 근로자가 신뢰할 수 있고 추적 가능한 아이디어를 개발하는 데 도움을 주기 위해 생성형 AI의 아이디어 창작 능력과 검색 기반 사실 검증을 융합한 하이브리드 AI 시스템, Generate And Search Test(GASt)를 제안한다. 생성형 초안 작성을 유능한 검색과 융합함으로써, 정확성을 보장하고 인간의 편향을 줄이며 반복적인 해결책 개선을 가능하게 하여 아이디어 생성을 향상시킨다.

ABSTRACT

New systems employ Machine Learning to sift through large knowledge sources, creating flexible Large Language Models. These models discern context and predict sequential information in various communication forms. Generative AI, leveraging Transformers, generates textual or visual outputs mimicking human responses. It proposes one or multiple contextually feasible solutions for a user to contemplate. However, generative AI does not currently support traceability of ideas, a useful feature provided by search engines indicating origin of information. The narrative style of generative AI has gained positive reception. People learn from stories. Yet, early ChatGPT efforts had difficulty with truth, reference, calculations, and aspects like accurate maps. Current capabilities of referencing locations and linking to apps seem to be better catered by the link-centric search methods we've used for two decades. Deploying truly believable solutions extends beyond simulating contextual relevance as done by generative AI. Combining the creativity of generative AI with the provenance of internet sources in hybrid scenarios could enhance internet usage. Generative AI, viewed as drafts, stimulates thinking, offering alternative ideas for final versions or actions. Scenarios for information requests are considered. We discuss how generative AI can boost idea generation by eliminating human bias. We also describe how search can verify facts, logic, and context. The user evaluates these generated ideas for selection and usage. This paper introduces a system for knowledge workers, Generate And Search Test, enabling individuals to efficiently create solutions previously requiring top collaborations of experts.

연구 동기 및 목표

• 현재 생성형 AI 시스템이 생성한 콘텐츠의 기원을 은폐함으로써 발생하는 아이디어 추적 불가 문제를 해결하기 위해.
• AI를 활용해 다양한 맥락에 맞는 대안을 제안함으로써 아이디어 창작 과정에서의 인간의 인지적 편향을 줄이기 위해.
• 생성형 AI의 창의적 잠재력과 검색 엔진의 사실적 신뢰성을 융합하여 견고한 지식 개발을 위한 시스템을 조성하기 위해.
• 전문가 협업에 의존하지 않고도 지식 근로자가 효율적으로 아이디어를 생성하고 테스트할 수 있도록 지원하는 시스템을 설계하기 위해.
• 통합된 검색과 기원 추적 기능을 통해 사용자가 AI가 생성한 아이디어를 평가하고 개선하며 검증할 수 있도록 하기 위해.

제안 방법

• 시스템은 대규모 언어 모델(LLMs)을 사용해 사용자 질의에 대응하여 맥락적으로 타당한 다수의 아이디어를 생성한다.
• 생성된 아이디어는 초안으로 간주되어 반복적인 개선과 사용자 평가를 장려한다.
• 검색 엔진을 통합하여 생성된 아이디어의 사실적 진술, 논리적 일관성, 맥락 적합성을 검증한다.
• 아키텍처는 AI가 아이디어를 생성하고 검색이 추적 가능한 출처와 참고 자료를 제공하는 하이브리드 워크플로우를 지원한다.
• 사용자 이해도 향상과 참여도 향상을 위해 서사형 출력 방식을 강조한다.
• 사용자는 생성된 아이디어를 외부 자료와 연결함으로써 기원 추적과 추론의 감사 가능성을 보장할 수 있다.

실험 결과

연구 질문

• RQ1 생성형 AI는 창의성을 훼손하지 않으면서도 어떻게 추적 가능한 아이디어 개발을 지원할 수 있는가?
• RQ2 검색 기반 검증은 AI가 생성한 아이디어의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ3 생성형 AI와 검색의 통합은 아이디어 창작 과정에서 인간의 편향을 어떻게 줄일 수 있는가?
• RQ4 서사적 구조는 AI가 생성한 아이디어에 대한 사용자 참여도와 이해도를 어떻게 향상시키는가?
• RQ5 하이브리드 시스템은 지식 개발 과제에서 독립적인 생성형 또는 검색 기반 접근 방식보다 어떻게 뛰어난 성능을 발휘할 수 있는가?

주요 결과

• 생성형 AI와 검색의 통합은 창의적일 뿐만 아니라 사실적으로 추적 가능한 아이디어 창출을 가능하게 한다.
• 연결된 자료와 검증 가능한 진술 덕분에 사용자는 AI가 생성한 아이디어를 자신 있게 평가하고 개선할 수 있다.
• 시스템은 아이디어 생성 및 검증 워크플로우의 자동화로 전문가 협업에 대한 의존도를 줄였다.
• 생성형 AI가 생성한 서사형 출력은 원시 데이터나 목록보다 더 매력적이고 이해하기 쉬운 것으로 평가된다.
• 외부 검증을 통해 초기 LLM의 일반적인 약점인 사실 정확성 부족과 낮은 추론 능력을 이 방법이 완화한다.
• 하이브리드 모델은 사용자가 초안을 신뢰할 수 있고 실행 가능한 해결책으로 진화시킬 수 있도록 반복적인 아이디어 개발을 지원한다.