[论文解读] Finder: A Multimodal AI-Powered Search Framework for Pharmaceutical Data Retrieval

Suyash Mishra, Srikanth Patil+3 more|arXiv (Cornell University)|Jan 6, 2026

Biomedical Text Mining and Ontologies被引用 0

一句话总结

Finder 通过混合稀疏和密集搜索统一多模态药物数据检索，并辅以基于LLM的查询优化，展现企业级规模性能。

ABSTRACT

AI is transforming pharmaceutical search, where traditional systems struggle with multimodal content and manual curation. Finder is a scalable AI-powered framework that unifies retrieval across text, images, audio, and video using hybrid vector search, combining sparse lexical and dense semantic models. Its modular pipeline ingests diverse formats, enriches metadata, and stores content in a vector-native backend. Finder supports reasoning-aware natural language search, improving precision and contextual relevance. The system has processed over 291,400 documents, 31,070 videos, and 1,192 audio files in 98 languages. Techniques like hybrid fusion, chunking, and metadata-aware routing enable intelligent access across regulatory, research, and commercial domains.

研究动机与目标

• 解决 pharma 检索中的多模态数据量与法规复杂性挑战。
• 开发用于文本、图像、音频与视频的模块化摄取与规范化管线。
• 实现带有LLM 辅助查询理解的混合词汇与语义检索。
• 通过元数据感知的路由与排序提升相关性、上下文与检索速度。

提出的方法

• 摄取多种格式（PDF、Word、PPT、音频、视频、图像）并将内容规范化为带元数据的结构化文本。
• 使用具提取性与抽象性标注的模块化标注管线，以及文档摘要。
• 以 BM42 词汇分数与 Mixedbread 密集嵌入的融合进行向量化，实现混合检索。
• 应用 Claude 4 进行意图解析和查询优化；执行动态重表述与自动筛选。
• 通过模糊相似度与归一化 BM42 分数的加权融合对结果进行排序，持续进行学习到排序的开发。

Figure 1: Finder Architecture Diagram

实验结果

研究问题

• RQ1 如何在文本、图像、音频与视频中高效检索多模态药物数据？
• RQ2 混合词汇-语义检索在受监管药物领域对精准度和召回率的影响如何？
• RQ3 意图解析与动态重表述是否能改善模糊或不完整查询的检索？
• RQ4 企业级药物多模态检索系统的延迟与可扩展性特征为何？
• RQ5 元数据感知的路由如何影响检索相关性与受监管工作流程中的用户信任？

主要发现

• Finder 在1,000个测试查询上实现了平均相关性率为 87.7%。
• 在企业级测试中，端到端摄取时间为 PDF 193 秒，音频 116 秒，视频 203 秒。
• 查询处理时延约为 2 秒，API 响应时延约为 5 秒，支持高达 200 个并发查询。
• 初始部署中文档定位时间缩短约 40%，检索相关性提升约 35%。
• 自动标注每月节省元数据整理大约 50 小时，人工检查工作量减少约 45%。

Figure 2: Vectorization Pipeline