[論文レビュー] Evaluation of Oncotimia: An LLM based system for supporting tumour boards

L. Martínez-Piñeiro Lorenzo, Marcos Montana-Mendez+3 more|arXiv (Cornell University)|Jan 27, 2026

AI in cancer detection被引用数 0

ひとこと要約

ONCOTIMIA は、取得強化生成とハイブリッドデータストアを用いて肺がん MDTB フォームの自動補完を行うモジュール型 LLM ベースのツールであり、合成ケースを用いた六つの LLM に対する評価を実施した。

ABSTRACT

Multidisciplinary tumour boards (MDTBs) play a central role in oncology decision-making but require manual processes and structuring large volumes of heterogeneous clinical information, resulting in a substantial documentation burden. In this work, we present ONCOTIMIA, a modular and secure clinical tool designed to integrate generative artificial intelligence (GenAI) into oncology workflows and evaluate its application to the automatic completion of lung cancer tumour board forms using large language models (LLMs). The system combines a multi-layer data lake, hybrid relational and vector storage, retrieval-augmented generation (RAG) and a rule-driven adaptive form model to transform unstructured clinical documentation into structured and standardised tumour board records. We assess the performance of six LLMs deployed through AWS Bedrock on ten lung cancer cases, measuring both completion form accuracy and end-to-end latency. The results demonstrate high performance across models, with the best performing configuration achieving an 80% of correct field completion and clinically acceptable response time for most LLMs. Larger and more recent models exhibit best accuracies without incurring prohibitive latency. These findings provide empirical evidence that LLM- assisted autocompletion form is technically feasible and operationally viable in multidisciplinary lung cancer workflows and support its potential to significantly reduce documentation burden while preserving data quality.

研究の動機と目的

• 多分野腫瘍委員会における構造化フォーム補完の自動化による手動文書化の負荷を削減する。
• GenAI 助ける自動補完の実現可能性と臨床ワークフローでの運用可能性を示す。
• 統制された合成肺がんデータセットにおけるフィールド補完の正確性とエンドツーエンドの待機時間を複数の LLM で評価する。

提案手法

• データ取り込み、ストレージ、バックエンドサービス、LLM抽象レイヤー、リバースプロキシを含むモジュラーで安全な ONCOTIMIA プラットフォームを設計する。
• 関係データベースとベクタストア（PostgreSQL と Qdrant）を備えた三層データレイク（ランディング、ステージング、精製）を実装する。
• RAG パイプラインと Nomic 埋め込みを用いてフォーム補完の文脈ソースを取得する。
• データ収集を導く七ブロックと条件付き活性化を含む、ルール駆動の適応型肺がんフォームスキーマを適用する。
• AWS Bedrock を用いて六つの LLM を統制された合成環境で評価し、フィールドレベルの正確性とエンドツーエンドの待機時間を測定する。

実験結果

リサーチクエスチョン

• RQ1 LLM は非構造化の語りから標準化された MDTB 肺がんフォームを信頼性高く自動補完できるか。
• RQ2 異なる LLM アーキテクチャとスケールは、RAG 対応の臨床ツールにおけるフィールド補完の正確性と待機時間にどのような影響を及ぼすか。
• RQ3 データガバナンス制約下での臨床ワークフローへの ONCOTIMIA の統合可能性と安定性はどうか。

主な発見

• 最良モデル（Pixtral-large-2502-v1；および GPT-OSS-120b、Qwen3-32b、Qwen3-120b は 79.3%）で平均フィールド補完正確度は最大 80% に達した。
• GPT-OSS-20b は平均正確度が最も低く（72.1%）、待機時間が最も高かった（平均 54 秒）。
• ほとんどのモデルはエンドツーエンド待機時間を約 20–21 秒程度で達成し、GPT-OSS-20b が待機時間の外れ値となった。
• より大規模で新しいモデルは高い正確性を提供し、待機時間が過度にはならず、臨床利用の実現可能性を示唆する。
• 本システムは三層の取り込みパイプラインと合成スペイン語肺がんデータセット、および RAG ベースの推論を可能にするハイブリッドストレージ層を使用した。
• 多くのモデルで高い安定した性能を示し、文書化負荷を軽減する運用可能性を支持する。