[논문 리뷰] Finder: A Multimodal AI-Powered Search Framework for Pharmaceutical Data Retrieval

Suyash Mishra, Srikanth Patil외 3명|arXiv (Cornell University)|2026. 01. 06.

Biomedical Text Mining and Ontologies인용 수 0

한 줄 요약

Finder는 혼합 희소 및 밀집 검색을 사용한 다중모달 약물 데이터 검색을 통합하고, LLM 기반 질의 최적화로 강화하며, 기업 규모의 성능을 입증한다.

ABSTRACT

AI is transforming pharmaceutical search, where traditional systems struggle with multimodal content and manual curation. Finder is a scalable AI-powered framework that unifies retrieval across text, images, audio, and video using hybrid vector search, combining sparse lexical and dense semantic models. Its modular pipeline ingests diverse formats, enriches metadata, and stores content in a vector-native backend. Finder supports reasoning-aware natural language search, improving precision and contextual relevance. The system has processed over 291,400 documents, 31,070 videos, and 1,192 audio files in 98 languages. Techniques like hybrid fusion, chunking, and metadata-aware routing enable intelligent access across regulatory, research, and commercial domains.

연구 동기 및 목표

• 제약 검색에서 다중모달 데이터 양과 규제 복잡성의 도전을 해결한다.
• 텍스트, 이미지, 오디오 및 비디오에 대한 모듈식 수집 및 정규화 파이프라인을 개발한다.
• LLM 보조 질의 이해를 통해 하이브리드 렉시컬 및 시맨틱 검색을 가능하게 한다.
• 메타데이터 인지 기반 라우팅 및 랭킹을 통해 관련성, 맥락, 검색 속도를 향상시킨다.

제안 방법

• 다양한 형식(PDF, Word, PPT, 오디오, 비디오, 이미지)을 수집하고 메타데이터를 포함한 구조화된 텍스트로 내용을 정규화한다.
• 추출적 태깅과 추상적 태깅을 갖춘 모듈식 태깅 파이프라인과 문서 요약을 사용한다.
• 하이브리드 검색을 위한 BM42 렉시컬 점수와 Mixedbread 밀집 임베딩의 융합으로 콘텐츠를 벡터화한다.
• 의도 파싱 및 질의 최적화를 위해 Claude 4를 적용하고, 동적 재구성 및 자동 필터링을 수행한다.
• 퍼지 유사도와 정규화된 BM42 점수의 가중 융합으로 결과를 순위화하고, 지속적인 학습-투-랭크 개발을 수행한다.

Figure 1: Finder Architecture Diagram

실험 결과

연구 질문

• RQ1 다양한 텍스트, 이미지, 오디오 및 비디오에서 다중모달 약물 데이터를 어떻게 효율적으로 검색할 수 있는가?
• RQ2 규제된 제약 도메인에서 하이브리드 렉시컬-세마틱 검색이 정밀도와 재현율에 미치는 영향은 무엇인가?
• RQ3 의도 파싱과 동적 재구성이 모호하거나 불완전한 질의에 대한 검색을 개선할 수 있는가?
• RQ4 제약 분야의 엔터프라이즈급 다중모달 검색 시스템의 대기 시간 및 확장성 특성은 무엇인가?
• RQ5 메타데이터 인지 라우팅이 규제 워크플로우에서 검색 관련성과 사용자 신뢰에 어떤 영향을 미치는가?

주요 결과

• Finder는 1,000개의 테스트 질의에서 평균 관련성 87.7%를 달성했다.
• 기업 규모의 테스트에서 엔드투엔드 수집 시간은 PDFs 193초, 오디오 116초, 비디오 203초였다.
• 질의 처리 지연은 약 2초, API 응답 지연은 약 5초였으며 최대 200개의 동시 질의를 지원했다.
• 초기 배치에서 문서를 찾는 시간은 약 40% 감소하고 검색 관련성은 약 35% 증가했다.
• 자동 태깅으로 메타데이터 큐레이션에 매달 약 50시간의 절감이 있었고 수동 확인 노력은 약 45% 감소했다.

Figure 2: Vectorization Pipeline