[논문 리뷰] Claim Automation using Large Language Model

Zhengda Mo, Zhiyu Quan외 2명|arXiv (Cornell University)|2026. 02. 18.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

본 논문은 LoRA로 미세조정된 로컬 배치된 거버넌스 인식 LLM 파이프라인을 통해 보증 청구 서술에서 구조화된 시정 조치 권고를 생성하고, 도메인 정렬 측면에서 일반 LLM보다 우수함을 보여준다.

ABSTRACT

While Large Language Models (LLMs) have achieved strong performance on general-purpose language tasks, their deployment in regulated and data-sensitive domains, including insurance, remains limited. Leveraging millions of historical warranty claims, we propose a locally deployed governance-aware language modeling component that generates structured corrective-action recommendations from unstructured claim narratives. We fine-tune pretrained LLMs using Low-Rank Adaptation (LoRA), scoping the model to an initial decision module within the claim processing pipeline to speed up claim adjusters' decisions. We assess this module using a multi-dimensional evaluation framework that combines automated semantic similarity metrics with human evaluation, enabling a rigorous examination of both practical utility and predictive accuracy. Our results show that domain-specific fine-tuning substantially outperforms commercial general-purpose and prompt-based LLMs, with approximately 80% of the evaluated cases achieving near-identical matches to ground-truth corrective actions. Overall, this study provides both theoretical and empirical evidence to prove that domain-adaptive fine-tuning can align model output distributions more closely with real-world operational data, demonstrating its promise as a reliable and governable building block for insurance applications.

연구 동기 및 목표

• 보험계리 워크플로우 내에서 비구조적 청구 서술을 실행 가능한 구조화된 시정 출력으로 통합한다.
• 데이터 민감성 및 규제 제약을 다루기 위해 거버넌스 의식을 가진 로컬 배포 LLM 프레임워크를 개발한다.
• 도메인 특화 미세조정이 출력 분포를 실세계 청구 처리 관행에 맞게 재구성함을 보여준다.
• 자동 시맨틱 지표와 인간 평가를 결합한 다차원 평가 프레임워크를 제공한다.

제안 방법

• 데이터 거버넌스를 보장하기 위해 온프레미스에 배치된 디코더 전용 트랜스포머(DeepSeek-R1-Distill-Llama-8B)를 사용한다.
• Transformer 블록의 선택된 프로젝션에 저계수 어댑터를 삽입하여 Low-Rank Adaptation(LoRA)로 미세조정한다.
• 입력으로 Complaint–Cause를, 출력으로 Correction을 두고, 시정 조치 세그먼트만 최적화하는 마스킹된 자기회귀 objective로 학습한다.
• 주의 메커니즘 내 위치 정보를 위해 Rotary Position Embedding(RoPE)을 적용한다.
• PreNorm Transformer 프레임워크 내에서 다단계 정규화(RMSNorm)와 SwiGLU 활성화를 채택한다.
• 시맨틱 유사도 지표와 구조화된 출력 검증을 결합한 다차원 프레임워크와 인간-in-the-loop 피드백으로 평가한다.

Figure 1 : Overview of the token-level generation architecture used for claim automation.

실험 결과

연구 질문

• RQ1 도메인 적응된 로컬 배포 LLM이 실세계 청구 처리 관행과 일치하는 구조화된 시정 조치 출력을 생성할 수 있는가?
• RQ2 도메인 특화 보증 데이터에 대한 LoRA 미세조정이 출력 형식, 시맨틱, 안정성 측면에서 일반-purpose LLM보다 더 우수한가?
• RQ3 모듈식 중간 작업(시정 조치를 출력하는 것)이 청구 워크플로우의 거버넌스, 투명성, 감사를 어떻게 영향을 미치는가?
• RQ4 언어 기반 청구 자동화의 실용성 및 예측 정확도를 가장 잘 포착하는 평가 프레임워크는 무엇인가?
• RQ5 관찰된 청구 프로세스에 비례한 출력 분포에 대한 도메인 정렬의 영향은 무엇인가?

주요 결과

• 도메인 특화 미세조정이 상용 일반 목적 LLM 및 프롬프트 기반 LLM에 비해 성능을 크게 향상시킨다.
• 평가된 사례의 약 80%가 지상 진실 시정 조치와 거의 동일한 매치를 달성했다.
• 거버넌스 제약이 있는 로컬 배치가 데이터 프라이버시 및 규제 리스크를 감소시키면서 재현성 및 감사성을 가능하게 한다.
• DeepSeek-R1 모델에 대한 LoRA 적응은 출력 분포를 실세계 청구 처리 관행에 맞추어 재구성한다.
• 다차원 평가 접근법은 출력의 구조적 타당성, 시맨틱 정렬 및 분포 일관성을 효과적으로 평가한다.

Figure 2 : LoRA adaptation applies to a single projection matrix. The original weight matrix $W_{\mathrm{frozen}}\in\mathbb{R}^{d_{\mathrm{out}}\times d_{\mathrm{in}}}$ remains unchanged, while trainable matrices $A\in\mathbb{R}^{r\times d_{\mathrm{in}}}$ and $B\in\mathbb{R}^{d_{\mathrm{out}}\times