[論文レビュー] Learning robotic ultrasound scanning using probabilistic temporal ranking.

Michael Burke, Katie Lu+5 more|arXiv (Cornell University)|Feb 4, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 4

ひとこと要約

本論文は、ロボット超音波スキャンにおける報酬推定のための確率的時系列順序付け手法を提案する。人間のデモにおける連続する状態は、報酬の尤もらしさが段階的に増加すると仮定する。最大エントロピー逆強化学習とは異なり、より良い計画に対して指数関数的に尤もらしい報酬を仮定するのではなく、デモにおける時系列的進行をモデル化し、医療画像診断タスクにおける劣化した人間のデモでも優れた性能を示す。

ABSTRACT

This paper addresses a common class of problems where a robot learns to perform a discovery task based on example solutions, or human demonstrations. For example consider the problem of ultrasound scanning, where the demonstration requires that an expert adaptively searches for a satisfactory view of internal organs, vessels or tissue and potential anomalies while maintaining optimal contact between the probe and surface tissue. Such problems are currently solved by inferring notional rewards that, when optimised for, result in a plan that mimics demonstrations. A pivotal assumption, that plans with higher reward should be exponentially more likely, leads to the de facto approach for reward inference in robotics. While this approach of maximum entropy inverse reinforcement learning leads to a general and elegant formulation, it struggles to cope with frequently encountered sub-optimal demonstrations. In this paper, we propose an alternative approach to cope with the class of problems where sub-optimal demonstrations occur frequently. We hypothesise that, in tasks which require discovery, successive states of any demonstration are progressively more likely to be associated with a higher reward. We formalise this temporal ranking approach and show that it improves upon maximum-entropy approaches to perform reward inference for autonomous ultrasound scanning, a novel application of learning from demonstration in medical imaging.

研究の動機と目的

• 劣化した人間のデモからのロボット超音波スキャンの学習という課題に対処すること。
• より良い計画に対して指数関数的に尤もらしい報酬を仮定する最大エントロピー逆強化学習の限界を克服すること。
• デモにおける連続する状態が、徐々に高い報酬に関連付けられる可能性が高くなるという時系列順序付け仮説を形式化すること。
• 特に、報酬の最適なビューを探索的に発見する必要がある医療画像診断分野において、報酬推定を改善すること。
• 学習から示唆するという新しい応用分野である自律的超音波スキャンにおける、提案手法の有効性を示すこと。

提案手法

• 本手法は、デモにおける状態の時系列的進行を、各後続状態がより高い報酬に関連付けられる可能性が高くなるという順序としてモデル化する。
• 位置に応じて状態の尤もらしさを段階的に増加させる確率的順序付けフレームワークを導入する。
• 最大エントロピーIRLとは異なり、指数関数的報酬尤もらしさを仮定しない、順序に基づく報酬推定メカニズムを採用する。
• 報酬推定問題を、デモにおける状態の時系列的順序の尤もらしさ関数の最適化として定式化する。
• ロボット超音波スキャンに適用し、ロボットが探索的に内部臓器の最適な視界を段階的な状態順序に基づいて学習する。
• 絶対的な報酬スケーリングではなく、相対的な時系列順序に焦点を当てることで、最大エントロピーIRLで一般的に見られる劣化した行動への過学習を回避する。

実験結果

リサーチクエスチョン

• RQ1 確率的時系列順序付け手法は、頻繁に劣化したデモが存在するロボットタスクにおける報酬推定を改善できるか？
• RQ2 時系列順序付けは、超音波スキャンの劣化した人間のデモからの学習において、最大エントロピー逆強化学習と比べてどのように異なるか？
• RQ3 デモの各状態における報酬尤もらしさの進行をモデル化することで、発見ベースのタスクにおけるポリシーの模倣が向上するか？
• RQ4 提案手法は、適応的スキャンを要する医療画像診断応用にどの程度一般化可能か？
• RQ5 時系列順序付けは、デモベースのロボット学習における劣化した行動への過学習を軽減できるか？

主な発見

• 提案された時系列順序付け手法は、劣化した人間のデモからのロボット超音波スキャンの学習において、最大エントロピー逆強化学習を上回る性能を示した。
• 本手法は、デモの後続状態がより高い報酬に関連付けられる可能性が高いという発見的タスクの進行的性質を効果的に捉えた。
• 指数的報酬尤もらしさ仮定を避けることで、人間のデモに一般的に見られる劣化した行動への過学習が低減された。
• このフレームワークにより、探索的に最適な視界を発見する必要がある医療画像診断タスクにおけるより強固で適応的なポリシー学習が可能になった。
• 実験的結果から、時系列順序付けアプローチが、超音波タスクにおける専門家スキャン行動のより正確で信頼性の高い模倣をもたらすことが示された。