[论文解读] Hybrid Retrieval-Generation Reinforced Agent for Medical Image Report Generation

Christy Y. Li, Xiaodan Liang+2 more|arXiv (Cornell University)|May 21, 2018

Multimodal Machine Learning Applications参考文献 45被引用 151

一句话总结

HRGR-Agent 将模板句子检索与基于生成的措辞相结合，通过层级强化学习训练，生成结构化、准确的医疗报告，并在两个胸部X光数据集上达到最先进的结果。

ABSTRACT

Generating long and coherent reports to describe medical images poses challenges to bridging visual patterns with informative human linguistic descriptions. We propose a novel Hybrid Retrieval-Generation Reinforced Agent (HRGR-Agent) which reconciles traditional retrieval-based approaches populated with human prior knowledge, with modern learning-based approaches to achieve structured, robust, and diverse report generation. HRGR-Agent employs a hierarchical decision-making procedure. For each sentence, a high-level retrieval policy module chooses to either retrieve a template sentence from an off-the-shelf template database, or invoke a low-level generation module to generate a new sentence. HRGR-Agent is updated via reinforcement learning, guided by sentence-level and word-level rewards. Experiments show that our approach achieves the state-of-the-art results on two medical report datasets, generating well-balanced structured sentences with robust coverage of heterogeneous medical report contents. In addition, our model achieves the highest detection accuracy of medical terminologies, and improved human evaluation performance.

研究动机与目标

• 通过在模板可靠性与灵活生成之间取得平衡，改进长而连贯的医疗影像报告的动机。
• 通过模板数据库利用人类先验知识来指导报告结构和术语。
• 开发一个分层决策过程，在每个句子之间在检索和生成之间进行选择。
• 使用强化学习对检索和生成组件进行端到端联合训练，包含句子级和词级奖励。

提出的方法

• 用基于CNN的图像编码器提取的上下文向量和由带注意力的句子解码器生成的句子主题序列q来表示医学图像。
• 使用检索策略模块为每个主题在从数据库检索模板句子与生成新句子之间进行选择。
• 维护一个从训练报告中频繁句子构建的模板数据库（按含义分组）。
• 实现一个生成模块，在选择生成时以主题和图像上下文为条件生成句子。
• 采用层级强化学习进行训练：句子级奖励用于检索策略，词级奖励用于生成，使用基于CIDEr的奖励以及对两级的delta-CIDEr形式。

实验结果

研究问题

• RQ1 如何将模板检索与神经生成结合，以在不牺牲准确性或多样性的前提下改进长期医学报告？
• RQ2 相较于纯生成或纯检索基线，分层强化学习是否能提高长期连贯性和事实基础在医疗报告生成中的表现？
• RQ3 模板检索组件是否能够在保持语言质量的同时提升异常发现的覆盖率？
• RQ4 端到端RL训练对检索策略和生成模块在医疗报告中的影响是什么？

主要发现

• HRGR-Agent 在两个胸部X光报告数据集上相较于非检索基线实现了CIDEr/BLEU/ROUGE的最先进结果。
• 模型在模板化句子与生成内容之间取得平衡，提高异常发现的覆盖率，同时保持流畅的语言。
• 单独的检索虽可获得较强的自动分数，但在医学异常检测方面较弱；通过RL将检索与生成结合可在异常术语的准确性上实现更高的精准度。
• HRGR-Agent 提供比基线更好的人工评估偏好分数，表明报告更自然、准确且术语使用恰当。
• 在 CX-CHR 数据集上，HRGR-Agent 的 CIDEr（2.895 对 2.800）和 BLEU/ROUGE 指标优于生成-alone 变体（HRG），显示检索增强方法的好处。
• 在 IU X-Ray 上，HRGR-Agent 相较于若干基线获得更高的 CIDEr 以及 BLEU/ROUGE，且相较于纯检索或纯生成方法有显著改进。