[論文レビュー] Ultrasound-Guided Robotic Navigation with Deep Reinforcement Learning

Hannes Hase, Mohammad Farid Azampour+5 more|arXiv (Cornell University)|Mar 30, 2020

Robotic Path Planning Algorithms参考文献 22被引用数 4

ひとこと要約

本論文は、リアルタイムの超音波（US）画像を入力として用い、仙骨に自律的かつ自動的にナビゲートするための深層強化学習（DRL）フレームワークを提示する。メモリ拡張DQNと停止行動を判断するためのバイナリ分類器を組み合わせることで、未学習のシミュレート環境における165の異なる初期位置から仙骨に到達する成功率が82.91%に達し、純粋なDRLおよび教師あり学習のベースラインと比較して、方策の正しさで20–30%、到達可能性で40–60%の優位性を示した。

ABSTRACT

In this paper we introduce the first reinforcement learning (RL) based robotic navigation method which utilizes ultrasound (US) images as an input. Our approach combines state-of-the-art RL techniques, specifically deep Q-networks (DQN) with memory buffers and a binary classifier for deciding when to terminate the task. Our method is trained and evaluated on an in-house collected data-set of 34 volunteers and when compared to pure RL and supervised learning (SL) techniques, it performs substantially better, which highlights the suitability of RL navigation for US-guided procedures. When testing our proposed model, we obtained a 82.91% chance of navigating correctly to the sacrum from 165 different starting positions on 5 different unseen simulated environments.

研究の動機と目的

• 本研究は、超音波（US）画像入力のみを用いて、エンドツーエンドの自律的ロボットナビゲーションシステムを、脊椎への超音波ガイドド介入に適用することを目的としている。
• 超音波画像における信号対雑音比の低さ、アーチファクト、および高レベルの観察者間ばらつきといった課題に起因するロボットガイドランスの課題を克服することを目的としている。
• 報酬が疎であり、罰則が非常に高いため、強化学習における最適な停止行動の学習が困難であるという課題に対処することを目的としている。
• バイナリ分類器を用いたハイブリッド学習により、未学習の解剖学的環境における一般化性とロバスト性を向上させることを目的としている。
• 最小限の人的介入で、リアルタイムかつ放射線フリーな超音波ガイドド手技におけるRLベースのナビゲーションの実現可能性を示すこと。

提案手法

• 報酬が疎なナビゲーションタスクにおける学習の安定性とサンプル効率の向上を図るため、優先順位付き経験再生を用いたメモリ拡張ディープQネットワーク（M-DQN）を訓練した。
• 純粋なDRLにおける「停止」行動の高い難易度と報酬の疎らさに対処するため、エージェントがナビゲーションを終了すべきタイミングを予測するバイナリ分類器を統合した。
• DQN方策と分類器を組み合わせ、ハイブリッド意思決定システムを構築した：DQNは状態価値推定に基づき行動を選択し、分類器はタスク完了の有無を判断する。
• 34名の被験者から得た自社の超音波データに基づくシミュレーション環境を用い、多様な解剖的変異を考慮したエージェントの訓練と評価を実施した。
• 行動選択をガイドするため、状態価値推定とアドバンテージ価値推定を採用した。MS-DQNの変種は、状態価値推定の正確性が向上した。
• 誤った行動に対してペナルティを課し、仙骨への接近度に応じて報酬を与える報酬関数を用いてシステムを訓練した。正しい停止行動には大きな正の報酬が与えられた。

実験結果

リサーチクエスチョン

• RQ1 純粋な超音波画像入力のみを用いた深層強化学習は、超音波ガイドドロボットナビゲーションに効果的に適用可能か？
• RQ2 停止行動の意思決定にバイナリ分類器を統合することで、報酬が疎なナビゲーションタスクにおいて、純粋なDRLと比較して性能がどの程度向上するか？
• RQ3 DQNアーキテクチャにおけるメモリの有効性は、未学習のシミュレート環境における方策の安定性と一般化性をどの程度向上させるか？
• RQ4 本手法のハイブリッドDRL-SLアプローチは、純粋なDQNおよび教師あり分類ベースラインと比較して、成功確率およびロバスト性の面でどの程度優れているか？
• RQ5 高レベルの超音波画像の外観ばらつきが存在するにもかかわらず、多様な解剖的構造および未学習の環境に一般化可能か？

主な発見

• 提案手法は、5つの未学習のシミュレート環境における165の異なる初期位置から仙骨に到達するタスクで82.91%の成功率を達成した。
• バイナリ分類器を統合したハイブリッドDQNは、純粋なDQN（V-DQNおよびM-DQN）と比較して、方策の正しさで20–30%、到達可能性で40–60%の優位性を示した。
• バイナリ分類器の導入により、「停止」行動の学習課題が顕著に軽減された。初期探索段階では、この行動は非常に罰則が高く、正しく実行される頻度が極めて低かった。
• MS-DQNの変種（メモリと分類器を統合）は、真値に最も近い状態価値推定値を生成し、環境の状態理解がより良好であることを示した。
• 教師あり学習ベースラインと比較して、未学習の環境への一般化性が顕著に優れていた。一方、教師あり学習ベースラインは、ループ形成や目的到達の困難さに苦慮していた。
• 結果から、報酬が疎な複雑な現実世界の医療ナビゲーションタスクにおいて、ハイブリッドDRL-SLアプローチが純粋なRLまたはSL単体よりも効果的であることが確認された。