[論文レビュー] Ultrasound Video Summarization using Deep Reinforcement Learning

Tianrui Liu, Qingjie Meng+4 more|arXiv (Cornell University)|May 19, 2020

Video Analysis and Summarization参考文献 18被引用数 4

ひとこと要約

本稿では、診断的視野平面検出、代表性、多様性を強調する報酬関数を用いて、フレーム特徴を二方向LSTMでモデル化する深層強化学習（DRL）ベースの超音波動画要約手法を提案する。この手法は、特に教師あり設定において最先端の性能を達成し、胎児超音波動画要約において63.23%のF1スコアを達成。診断に必要な情報を保持しつつ、動画長を最大85%まで短縮可能である。

ABSTRACT

Video is an essential imaging modality for diagnostics, e.g. in ultrasound imaging, for endoscopy, or movement assessment. However, video hasn't received a lot of attention in the medical image analysis community. In the clinical practice, it is challenging to utilise raw diagnostic video data efficiently as video data takes a long time to process, annotate or audit. In this paper we introduce a novel, fully automatic video summarization method that is tailored to the needs of medical video data. Our approach is framed as reinforcement learning problem and produces agents focusing on the preservation of important diagnostic information. We evaluate our method on videos from fetal ultrasound screening, where commonly only a small amount of the recorded data is used diagnostically. We show that our method is superior to alternative video summarization methods and that it preserves essential information required by clinical diagnostic standards.

研究の動機と目的

• 臨床現場における長時間の超音波動画記録の非効率な後向き分析の課題に対処すること。
• 人為的ラベルに依存せずに、診断的に重要な情報を保持する完全自動の動画要約手法を開発すること。
• フレーム選択の最適化を目的とした強化学習意思決定タスクとして、超音波動画要約を定式化すること。
• 臨床基準に整合するようにフレーム選択を促進する、新しい診断的視野平面報酬を導入すること。
• 通常は診断に使用される割合が極めて少ない胎児超音波スクリーニング動画に対して、この手法を評価すること。

提案手法

• 入力動画フレームから深層視覚特徴を抽出するためにCNNベースのエンコーダを用い、その後、時間的依存性の順序モデリングに二方向LSTMを適用する。
• 強化学習エージェントが、複合報酬関数に基づいて各フレームの選択（含む／除外）を予測することで要約用のキーフレームを選択する。
• 報酬関数は、代表性（$\mathcal{R}_{\text{rep}}$）、多様性（$\mathcal{R}_{\text{div}}$）、診断的視野平面の尤度（$\mathcal{R}_{\text{det}}$）の3つの成分を組み合わせたものである。
• ポリシー勾配法を用いて訓練し、フレーム系列全体の期待累積報酬を最大化する目的関数を最適化する。
• 教師ありおよび教師なしの両方の訓練をサポートしており、臨床的ラベルが存在しない状況下でも導入可能である。
• 診断的視野平面報酬は、事前に訓練済みの標準的視野平面検出ネットワークから得られ、フレーム選択を臨床的に関連する視点に一致させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習フレームワークは、診断的に重要なコンテンツを保持しつつ、超音波動画を効果的に要約できるか？
• RQ2 診断的視野平面報酬を組み込むことで、標準的な代表性および多様性報酬と比較して要約性能がどのように向上するか？
• RQ3 臨床的ラベルが存在しない状況下でも、この手法はどの程度高い性能を発揮できるか？
• RQ4 要約長が生成された要約の品質にどのように影響するか？
• RQ5 提案手法は、実臨床の超音波データに対して、既存の動画要約ベースラインを上回るか？

主な発見

• 本手法は、教師あり設定で63.23%のF1スコア、教師なし設定で59.58%のF1スコアを、元の動画長の15%に要約した場合に達成した。
• 診断的視野平面報酬（$\mathcal{R}_{\text{det}}$）を単独で使用した場合、$\mathcal{R}_{\text{rep}}$ と $\mathcal{R}_{\text{div}}$ のみを使用した場合と比較して、教師なしF1スコアが11.45ポイント向上した。
• 3つの報酬成分をすべて組み合わせた場合、教師あり設定で63.23%、教師なし設定で59.58%の最高性能を達成した。
• 要約長が15%から45%に増加するにつれて、教師ありおよび教師なし両モデルでF1スコアが一貫して向上し、スケーラビリティが確認された。
• 定性的な結果から、先行SOTA手法と比較して、正解要約との重複度が高かった。これは、重要な診断フレームのより良い保持を示している。
• アブレーションスタディの結果、$\mathcal{R}_{\text{det}}$ が最も影響力が大きく、特にリソースが限られた（教師なし）状況下で顕著であった。