[論文レビュー] Hybrid Retrieval-Generation Reinforced Agent for Medical Image Report Generation

Christy Y. Li, Xiaodan Liang+2 more|arXiv (Cornell University)|May 21, 2018

Multimodal Machine Learning Applications参考文献 45被引用数 151

ひとこと要約

HRGR-Agent はテンプレート文の取得と生成ベースの表現を組み合わせ、階層的強化学習で訓練され、構造化され、正確な医療レポートを作成し、2つの胸部X線データセットで最先端の結果を達成します。

ABSTRACT

Generating long and coherent reports to describe medical images poses challenges to bridging visual patterns with informative human linguistic descriptions. We propose a novel Hybrid Retrieval-Generation Reinforced Agent (HRGR-Agent) which reconciles traditional retrieval-based approaches populated with human prior knowledge, with modern learning-based approaches to achieve structured, robust, and diverse report generation. HRGR-Agent employs a hierarchical decision-making procedure. For each sentence, a high-level retrieval policy module chooses to either retrieve a template sentence from an off-the-shelf template database, or invoke a low-level generation module to generate a new sentence. HRGR-Agent is updated via reinforcement learning, guided by sentence-level and word-level rewards. Experiments show that our approach achieves the state-of-the-art results on two medical report datasets, generating well-balanced structured sentences with robust coverage of heterogeneous medical report contents. In addition, our model achieves the highest detection accuracy of medical terminologies, and improved human evaluation performance.

研究の動機と目的

• 長く一貫した医療画像レポートを、テンプレートベースの信頼性と柔軟な生成をバランスさせて改善する動機。
• レポートの構造と用語を導くためにテンプレートデータベースを介して人間の事前知識を活用する。
• 日ごろの文ごとに取得と生成を選択する階層的意思決定プロセスを開発する。
• 報酬として文レベルと語レベルを用いた強化学習で、取得と生成のコンポーネントを共同訓練する。

提案手法

• 医用画像をCNNベースの画像エンコーダからのコンテキストベクトルと、アテンション付きの文デコーダーによって生成される文トピック系列 q によって表現する。
• 取得方針モジュールを使用して、各トピックごとにデータベースからテンプレート文を取得するか新規文を生成するかを決定する。
• 訓練データのレポートで頻出する意味ごとにグループ化したテンプレートデータベースを維持する。
• 生成を選択した場合には、トピックと画像コンテキストに条件付けられた文を生成する生成モジュールを実装する。
• 階層的強化学習で訓練する：取得方針には文レベルの報酬、生成には語レベルの報酬を用い、CIDErベースの報酬と両レベルの delta-CIDEr 方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 テンプレートの取得とニューラル生成を統合して、正確さや多様性を損なうことなく長い医療レポートを改善できるか。
• RQ2 階層的な強化学習は、純粋な生成または純粋な取得のベースラインと比較して長期的一貫性と事実的な基礎づけを改善するか。
• RQ3 テンプレートベースの取得コンポーネントは、言語品質を保ちながら異常所見の網羅性を高められるか。
• RQ4 エンドツーエンドの RL 訓練が、取得方針と生成モジュールの両方に与える影響は。

主な発見

• HRGR-Agent は、非取得ベースのベースラインと比較して、2つの胸部X線レポートデータセットで最先端の CIDEr/BLEU/ROUGE を達成した。
• モデルはテンプレート様の文と生成コンテンツのバランスを取り、異常所見の網羅性を高めつつ流暢な言語を維持する。
• 取得のみは自動的スコアは高いが異常所見検出は弱い； RL を介して取得と生成を組み合わせると異常用語の精度が向上する。
• HRGR-Agent はベースラインより人間評価の好評度スコアが高く、より自然で正確、適切な用語を用いたレポートを示す。
• CX-CHR では、HRGR-Agent は生成専用変種（HRG）より CIDEr（2.895 対 2.800）および BLEU/ROUGE 指標で優れており、取得強化アプローチの利点を示す。
• IU X-Ray では、HRGR-Agent は複数のベースラインより高い CIDEr と BLEU/ROUGE を達成し、純粋な取得または純粋な生成アプローチより顕著な改善を示す。