[논문 리뷰] Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking

Qinyong Wang, Zhenxiang Gao외 1명|arXiv (Cornell University)|2023. 07. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 밀도 있는 검색과 LLM 기반 재순서 정렬을 통해 양성 검색 후 두 번째 단계로 이루어지는, 생물의학 개념 연결을 위한 두 단계형 인-컨텍스트 학습(ICL) 프레임워크를 제안한다. 이는 미세조정 또는 레이블이 없는 데이터를 사용하지 않고도 질병 정규화에서 90.1%의 정확도와 화학물질 정규화에서 94.7%의 정확도를 달성하여, 감독 학습 방법과 경쟁 가능한 성능을 보인다.

ABSTRACT

The biomedical field relies heavily on concept linking in various areas such as literature mining, graph alignment, information retrieval, question-answering, data, and knowledge integration. Although large language models (LLMs) have made significant strides in many natural language processing tasks, their effectiveness in biomedical concept mapping is yet to be fully explored. This research investigates a method that exploits the in-context learning (ICL) capabilities of large models for biomedical concept linking. The proposed approach adopts a two-stage retrieve-and-rank framework. Initially, biomedical concepts are embedded using language models, and then embedding similarity is utilized to retrieve the top candidates. These candidates' contextual information is subsequently incorporated into the prompt and processed by a large language model to re-rank the concepts. This approach achieved an accuracy of 90.% in BC5CDR disease entity normalization and 94.7% in chemical entity normalization, exhibiting a competitive performance relative to supervised learning methods. Further, it showed a significant improvement, with an over 20-point absolute increase in F1 score on an oncology matching dataset. Extensive qualitative assessments were conducted, and the benefits and potential shortcomings of using large language models within the biomedical domain were discussed. were discussed.

연구 동기 및 목표

• 생물의학 개념 연결 분야에서 감독 학습 방법의 한계, 즉 높은 주석 비용, 데이터의 노후화, 다양한 작업 간의 낮은 일반화 능력 해결.
• 대규모 언어 모델(LLM)에서의 인-컨텍스트 학습(ICL)이 작업 전용 미세조정 없이도 제로샷, 유연한 생물의학 개념 연결을 가능하게 할 수 있는지 탐색.
• 모호함, 희귀 질병, 이질적인 데이터 소스를 처리할 수 있는 일반화되고 강력한 개념 연결 프레임워크 개발.
• 특히 복잡하거나 희귀한 질병 아형에 대해 LLM의 해석 가능성과 추론 품질 평가.
• 실제 생물의학 데이터셋에서 폐쇄형(GPT-4) 및 개방형(Llama) 모델을 사용한 LLM 기반 연결의 실현 가능성과 성능 평가.

제안 방법

• 밀도 있는 벡터 임베딩을 사용한 언어 모델에서 유사도 기반으로 후보 생물의학 개념을 검색하는 두 단계 프레임워크 활용.
• 임베딩 유사도를 계산하여 각 텍스트 명시어에 대해 상위-k 후보 개념 식별.
• 각 후보의 맥락과 원본 명시어를 LLM 입력에 통합하여 인-컨텍스트 학습 프롬프트 구성.
• LLM(GPT-4 또는 Llama 등)을 사용해 맥락 적합성과 의미 일치도 기반으로 후보 재순서 정렬.
• LLM의 인-컨텍스트 학습 능력을 활용해 모델 미세조정 없이 제로샷 추론 수행.
• 희귀 또는 모호한 실체 처리를 위해 개념 설명 및 약어 사전과 같은 외부 지식 통합.

Figure 1: Overview of the proposed methodology and comparison with previous methods.

실험 결과

연구 질문

• RQ1 LLM에서의 인-컨텍스트 학습이 어떤 미세조정이나 레이블이 없는 데이터 없이도 생물의학 개념 연결을 효과적으로 수행할 수 있는가?
• RQ2 GPT-4와 Llama와 같은 LLM의 성능은 질병 및 화학물질 실체 정규화 작업에서 감독 학습 방법과 비교해 어떻게 되는가?
• RQ3 LLM의 추론 과정이 표면적인 키워드 매칭이 아닌 정확하고 맥락 인식 가능한 논리적 추론을 반영하는 정도는 어느 정도인가?
• RQ4 희귀 질병이나 모호한 약어에 대해 LLM 기반 개념 연결의 주요 실패 원인은 무엇인가?
• RQ5 예를 들어 설명이나 약어 목록 등의 외부 지식 통합이 LLM 기반 연결의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 ICL 기반 프레임워크는 BC5CDR 질병 실체 정규화에서 90.1%의 F1 점수, 화학물질 정규화에서 94.7%의 F1 점수를 기록하여, 기준 제로샷 방법을 초월하고 감독 학습 기반 기준선에 근접하는 성능을 보였다.
• 종양학 매칭 데이터셋에서 기준 방법 대비 F1 점수 20점 이상의 절대적 향상을 보이며, 강력한 일반화 능력과 강건성을 입증했다.
• GPT-4는 특히 희귀 질병 아형과 복잡한 개념 설명에서 뛰어난 추론 능력과 정확도를 보였지만, Llama 13B는 정확도와 논리 일관성 모두에서 어려움을 겪었다.
• GPT-4의 추론 과정은 일반적으로 제공된 맥락과 설명에 부합하여 해석 가능성 향상에 기여했고, 반면 Llama는 정확한 예측를 내놓더라도 잘못된 추론을 유도하는 경우가 있었다.
• 동일한 이름을 가진 여러 개념이 존재하거나 약어가 모호할 경우 실패 케이스가 발생했으며, 이는 외부 지식 통합의 필요성을 시사했다.
• GPT-4를 사용한 추론은 비용이 많이 들었으며(3,700개의 쌍에 대해 150달러), 심지어 로컬 LLM인 Llama 13B 역시 느렸다(103ms/token)는 점에서, 광범위한 도입을 위한 확장성과 하드웨어 제약이 명백히 드러났다.

Figure 2: Workflow of the proposed methodology for exploring the in-context learning ability of large language models for biomedical concept linking.