[논문 리뷰] Multimodal Multi-Agent Empowered Legal Judgment Prediction

Zhaolu Kang, Junhao Gong외 8명|arXiv (Cornell University)|2026. 01. 19.

Artificial Intelligence in Law인용 수 0

한 줄 요약

JurisMMA는 JurisMM 데이터셋(text 및 다중모달 비디오-텍스트)을 활용하는 여섯 에이전트 법정 프레임워크로, 법적 판단 예측(LJP)에서 다수의 작업에서 베이스라인을 능가하고, 다중 모달 및 지식 기반 구성요소의 강력한 이점을 보여준다.

ABSTRACT

Legal Judgment Prediction (LJP) aims to predict the outcomes of legal cases based on factual descriptions, serving as a fundamental task to advance the development of legal systems. Traditional methods often rely on statistical analyses or role-based simulations but face challenges with multiple allegations, diverse evidence, and lack adaptability. In this paper, we introduce JurisMMA, a novel framework for LJP that effectively decomposes trial tasks, standardizes processes, and organizes them into distinct stages. Furthermore, we build JurisMM, a large dataset with over 100,000 recent Chinese judicial records, including both text and multimodal video-text data, enabling comprehensive evaluation. Experiments on JurisMM and the benchmark LawBench validate our framework's effectiveness. These results indicate that our framework is effective not only for LJP but also for a broader range of legal applications, offering new perspectives for the development of future legal methods and datasets.

연구 동기 및 목표

• LJP를 개선하여 다중 기소, 다양한 증거, 그리고 실제 법정 절차를 다룰 수 있도록 동기를 부여한다.
• 구조화된 6단계 다중 에이전트 프레임워크를 제안하여 재판을 시뮬레이션하고 법적 지식을 통합한다.
• JurisMM이라는 텍스트 및 다중모달 샘플을 가진 대규모 실제 사례 데이터셋을 만들어 견고한 평가를 수행한다.
• JurisMMA가 핵심 LJP 작업에서 베이스라인보다 우수하고 LawBench에 일반화되는지 입증한다.

제안 방법

• JurisMMA를 여섯 에이전트(Junior Judge, Senior Judge, Chief Judge, Assistant, Defendant, Legal Counsel)와 지식 검색 모듈을 두 단계로 도입한다.
• Stage I: Information Extraction에서 JJs가 사실을 추출하고 SJ가 Case Summary를 종합한다.
• Stage II: Legal Information Retrieval에서 법령과 기소에 대해 dense FAISS를 사용하고, 판례에 대해서는 하이브리드 BM25+dense 검색을 사용한다.
• Stage III: First-instance Decision에서 CJ가 기소를 선택하고 판례 영향 및 감형 요인을 사용하여 형벌을 산정한다.
• Stage IV: Defendant의 Response에서 이의 제기 및 항소 가능성을 포착한다.
• Stage V: Appeal Submission에서 Legal Counsel이 관련 법률 및 추론을 포함한 항소 요지를 구성한다.
• Stage VI: Second-instance Review에서 판결 수정 여부를 결정하고 필요 시 Stage I-II를 재실행한다.

실험 결과

연구 질문

• RQ1 여섯 에이전트 법정 프레임워크가 LJP를 위한 실제 재판 절차를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 다중 모달 JurisMM 데이터세트를 통합하면 텍스트 전용 베이스라인보다 LJP 성능이 향상되는가?
• RQ3 지식 베이스와 다중 에이전트 협업이 LJP 성능에 어떤 영향을 미치는가?
• RQ4 JurisMMA는 교육 데이터 밖의 더 넓은 법적 추론 벤치마크에 얼마나 잘 일반화되는가?

주요 결과

• JurisMMA는 JurisMM-Text에서 Law Articles, Charges, 및 Terms of Penalty 작업에서 전통적 신경망 베이스라인(TextCNN, TOPJUDGE, MPBFN) 및 여러 LLM 기반 베이스라인을 지속적으로 능가한다.
• JurisMM-Video에서 시각 정보를 도입하면 각 작업의 정확도 및 매크로-F1이 향상된다.
• 특성 연구에서 지식 기반이나 다중 에이전트 협업을 제거하면 성능이 저하되어 이들의 중요성이 강조된다.
• GPT-4o는 LLM 중 강력한 성능을 보이지만 다중 에이전트 구성과 지식 통합이 핵심 작업에서 일반적으로 이를 능가한다.
• JurisMMA는 LawBench 작업에서도 일반 목적 LLM보다 우수하여 법적 추론 벤치마크에 대한 일반화가 좋음을 시사한다.