[论文解读] Learning robotic ultrasound scanning using probabilistic temporal ranking.

Michael Burke, Katie Lu+5 more|arXiv (Cornell University)|Feb 4, 2020

Reinforcement Learning in Robotics参考文献 32被引用 4

一句话总结

本文提出了一种用于机器人超声扫描中奖励推理的概率时间排序方法，假设人类示范中连续状态的奖励可能性逐步增加。与最大熵逆强化学习（maximum-entropy inverse reinforcement learning）不同，后者假设更优计划的奖励可能性呈指数级增长，该方法建模了示范中的时间进展，并在医学影像任务的次优人类示范中表现出更优性能。

ABSTRACT

This paper addresses a common class of problems where a robot learns to perform a discovery task based on example solutions, or human demonstrations. For example consider the problem of ultrasound scanning, where the demonstration requires that an expert adaptively searches for a satisfactory view of internal organs, vessels or tissue and potential anomalies while maintaining optimal contact between the probe and surface tissue. Such problems are currently solved by inferring notional rewards that, when optimised for, result in a plan that mimics demonstrations. A pivotal assumption, that plans with higher reward should be exponentially more likely, leads to the de facto approach for reward inference in robotics. While this approach of maximum entropy inverse reinforcement learning leads to a general and elegant formulation, it struggles to cope with frequently encountered sub-optimal demonstrations. In this paper, we propose an alternative approach to cope with the class of problems where sub-optimal demonstrations occur frequently. We hypothesise that, in tasks which require discovery, successive states of any demonstration are progressively more likely to be associated with a higher reward. We formalise this temporal ranking approach and show that it improves upon maximum-entropy approaches to perform reward inference for autonomous ultrasound scanning, a novel application of learning from demonstration in medical imaging.

研究动机与目标

• 解决从次优人类示范中学习机器人超声扫描的挑战。
• 克服最大熵逆强化学习的局限性，后者假设更优计划的奖励可能性呈指数级增长。
• 形式化一种时间排序假设，即示范中连续状态的奖励可能性逐步提高。
• 改进发现型机器人任务中的奖励推理，特别是在示范常为次优的医学影像任务中。
• 展示所提方法在自主超声扫描中的有效性，这是行为模仿在新场景中的应用。

提出的方法

• 该方法将示范中状态的时间进展建模为一个序列，其中每个后续状态更可能与更高奖励相关联。
• 引入一种概率排序框架，根据状态在示范序列中的位置，为其分配递增的可能性。
• 该方法采用基于排序的奖励推理机制，不假设指数级奖励可能性，与最大熵IRL不同。
• 将奖励推理问题形式化为在示范中状态时间顺序上的似然函数优化。
• 该方法应用于机器人超声扫描，机器人通过排序状态进展学习发现内脏器官的最佳视图。
• 通过关注相对时间顺序而非绝对奖励尺度，避免了最大熵IRL中常见的对次优行为的过拟合。

实验结果

研究问题

• RQ1 概率时间排序方法是否能改善在频繁出现次优示范的机器人任务中的奖励推理？
• RQ2 在超声扫描任务中，时间排序与最大熵逆强化学习相比，在从不完美人类示范中学习时表现如何？
• RQ3 对示范中状态的奖励可能性进行渐进式建模，是否能提升在发现型任务中的策略模仿效果？
• RQ4 所提方法在需要自适应扫描的医学影像应用中具有多大程度的泛化能力？
• RQ5 时间排序能否减少在基于示范的机器人学习中对次优行为的过拟合？

主要发现

• 所提的时间排序方法在从次优人类示范中学习机器人超声扫描时，优于最大熵逆强化学习。
• 该方法成功捕捉了发现型任务的渐进特性，即示范中后期状态更可能与更高奖励相关。
• 通过避免指数级奖励可能性假设，该方法减少了对人类示范中常见次优行为的过拟合。
• 该框架使医学影像任务中的策略学习更具鲁棒性和自适应性，因为最优视图需通过探索发现。
• 实证结果表明，时间排序方法能更准确、可靠地模仿超声任务中的专家扫描行为。