[논문 리뷰] A Human-Centric Pipeline for Aligning Large Language Models with Chinese Medical Ethics

Haoan Jin, Han Ying외 3명|arXiv (Cornell University)|2026. 01. 12.

Machine Learning in Healthcare인용 수 0

한 줄 요약

논문은 MedES라는 시나리오 중심의 중국 의료 윤리 벤치마크와 가디언-인-더-루프 정렬 파이프라인을 도입하여 7B LLM을 훈련시켜 671B 기준선보다 윤리적 작업에서 우수하게 만든다.

ABSTRACT

Recent advances in large language models have enabled their application to a range of healthcare tasks. However, aligning LLMs with the nuanced demands of medical ethics, especially under complex real world scenarios, remains underexplored. In this work, we present MedES, a dynamic, scenario-centric benchmark specifically constructed from 260 authoritative Chinese medical, ethical, and legal sources to reflect the challenges in clinical decision-making. To facilitate model alignment, we introduce a guardian-in-the-loop framework that leverages a dedicated automated evaluator (trained on expert-labeled data and achieving over 97% accuracy within our domain) to generate targeted prompts and provide structured ethical feedback. Using this pipeline, we align a 7B-parameter LLM through supervised fine-tuning and domain-specific preference optimization. Experimental results, conducted entirely within the Chinese medical ethics context, demonstrate that our aligned model outperforms notably larger baselines on core ethical tasks, with observed improvements in both quality and composite evaluation metrics. Our work offers a practical and adaptable framework for aligning LLMs with medical ethics in the Chinese healthcare domain, and suggests that similar alignment pipelines may be instantiated in other legal and cultural environments through modular replacement of the underlying normative corpus.

연구 동기 및 목표

• 실제 중국 의료 윤리 과제를 260개 소스에서 반영한 시나리오 중심 벤치마크(MedES) 개발
• 모델 미세조정을 안내하기 위한 자동 평가자와 함께 가디언-인-더-루프 정렬 프레임워크 제안
• 의료 맥락의 핵심 윤리 과제에서 더 큰 모델보다 7B 파라미터 모델이 우수하다는 것을 입증
• 모듈식 규범 코퍼스를 통해 다른 법적/문화적 환경에 재사용 가능한 파이프라인 제공
• 재현성과 추가 연구를 가능하게 하는 데이터셋과 코드를 제공

제안 방법

• 260개 권위 있는 문서로부터 MedES를 구성하여 12개의 고위험 시나리오에 걸친 1278개의 규범 규칙을 도출
• 전문가 라벨링 데이터로 학습된 자동 평가자를 개발하여 >97% 도메인 정확도로 프롬프트를 생성하고 윤리적 피드백을 제공
• 가드-인-더-루프 프로세스를 이용한 감독학습(SFT) 및 도메인별 선호도 최적화를 통해 7B 기본 모델을 미세조정
• 두 단계 감독으로 평가자 학습: 판단 지향 및 추론 지향으로 인간 주석과 자동 생성 데이터를 혼합
• 피드백이 반복적 정렬과 개선을 이끄는 다회차 데이터 생성 및 미세조정 루프 적용
• 윤리, 안전, 응급의료, 약물 안전성 등 메데스 주관/객관 과제를 평가하고, 더 큰 모델과 비교

Figure 1: An overview of our proposed framework.

실험 결과

연구 질문

• RQ1 RQ1: 더 작은 미세조정 모델이 더 큰 LLM과 견줄 만한 윤리적 성능을 달성할 수 있는가?
• RQ2 RQ2: 미세조정에서 평가자 주도 피드백이 다양한 의료 시나리오에서 윤리적 의사결정을 개선하는가?

주요 결과

모델	유형	위험도 ↓	품질 점수 ↑	종합 점수 ↑
deepseek-r1-7b-sft-round1	Ours	0.0489	0.9862	0.8862
deepseek-r1-7b-sft-round2	Ours	0.0428	0.9886	0.9042
deepseek-r1-7b-sft-round3	Ours	0.0452	0.9904	0.9241
deepseek-r1-7b-sft-round4	Ours	0.0404	0.9915	0.9286
deepseek-r1-7b-sft-round5	Ours	0.0320	0.9924	0.9356
deepseek-r1-7b	DeepSeek	0.1624	0.4667	0.2292
deepseek-r1-671b	DeepSeek	0.0338	0.8736	0.8103
deepseek-v3-671b	DeepSeek	0.0425	0.8342	0.7561
gpt3.5	GPT	0.2239	0.5698	0.2184
gpt4-turbo	GPT	0.1036	0.6047	0.4387
gpt4	GPT	0.1607	0.5994	0.3434
doubao	General-purpose	0.1395	0.4589	0.2552

• 7B deepseek-r1-7b-sft-round5 모델은 주관적 윤리적 추론에서 가장 높은 종합 점수(0.9356)와 낮은 위험률(0.0320), 높은 품질 점수(0.9924)를 달성했다.
• 정렬된 7B 모델은 671B 상용 LLM보다 복합 윤리 성능에서 10% 이상 우수하게 나타났다.
• SFT는 윤리 지식, 약물 안전성, 응급의료에서 지표를 개선했고 초기 라운드에서 가장 큰 이익이 나타났다.
• 객관적 과제 정확도에서 deeper-671b와 같은 대형 모델이 7B 모델보다 더 높은 결과를 보여 지식 용량의 대규모화 이점이 있음을 시사한다.
• 반복적 데이터 큐레이션 및 가드-인-더-루프 정렬은 고위험 임상 시나리오의 윤리적 신뢰성을 크게 향상시켰다.
• 프레임워크는 검색 보강 접근법이 객관적 과제의 지식 격차를 더 줄일 수 있음을 시사한다.

Figure 2: Dynamic dataset construction based on knowledge base.