[論文レビュー] Student-Teacher Curriculum Learning via Reinforcement Learning: Predicting Hospital Inpatient Admission Location

Rasheed El-Bouri, David W. Eyre+3 more|arXiv (Cornell University)|Jul 1, 2020

Online Learning and Analytics参考文献 24被引用数 12

ひとこと要約

本論文は、学生の内部重み表現を状態信号として用いることで、病院入院予測のための動的データカリキュラムを生成する学生-教師強化学習フレームワークを提案する。教師ネットワークはエントロピー順に並べられたデータバッチを選び、学生のパフォーマンスを最適化する。この手法は、表形式の医療データにおいて最先端の結果を達成し、標準的手法を上回る効果的で適応的なカリキュラムを実現した。

ABSTRACT

Accurate and reliable prediction of hospital admission location is important due to resource-constraints and space availability in a clinical setting, particularly when dealing with patients who come from the emergency department. In this work we propose a student-teacher network via reinforcement learning to deal with this specific problem. A representation of the weights of the student network is treated as the state and is fed as an input to the teacher network. The teacher network's action is to select the most appropriate batch of data to train the student network on from a training set sorted according to entropy. By validating on three datasets, not only do we show that our approach outperforms state-of-the-art methods on tabular data and performs competitively on image recognition, but also that novel curricula are learned by the teacher network. We demonstrate experimentally that the teacher network can actively learn about the student network and guide it to achieve better performance than if trained alone.

研究の動機と目的

• 入院予測の正確性を、データ駆動型で適応的なカリキュラム手法を用いて向上させること。
• 救急科の混雑状況やリソース制約に対処し、早期患者トリージの予測を通じて、前もってベッドを割り当てられる仕組みを提供すること。
• 学生ネットワークの内部状態に対するリアルタイムフィードバックを用いて、教師ネットワークが学生ネットワークを指導する方法を構築すること。
• 強化学習が、固定またはヒューリスティックなスケジューリング戦略を上回る、効果的でタスク固有のカリキュラムを生成できるかを検証すること。
• 異なる医療予測タスク間で学習された指導方針の転送可能性と安定性を調査すること。

提案手法

• 学生ネットワークは、エントロピー順に並べられたデータバッチを用いて訓練され、エントロピーが低い（より簡単な）バッチを最初に提示することで、最適化のしやすさを向上させる。
• 教師ネットワークは、学生の現在の重み表現を状態入力として用いることで、学生の学習進行状況を観測し、それに応じて適応する。
• 将来の学生パフォーマンスを最大化するバッチを選択するため、強化学習を用いて深層Qネットワーク（DQN）ポリシーを訓練する。
• 教師の行動空間は、事前にソートされたデータバッチのリストから選択するものであり、報酬は学生の検証精度の向上に基づいて設計されている。
• 勾配や損失の単なる指標ではなく、学生の重みの表現（重み表現）を状態信号として用いることで、教師は学生内部状態の複雑な非線形関係を学習可能となる。
• ポリシー転送は、あるデータセット（例：Ward Admission）で訓練された教師を、微調整なしに別のデータセット（例：MIMIC-III）に適用することで評価される。

実験結果

リサーチクエスチョン

• RQ1 強化学習で訓練された教師ネットワークは、入院予測のための固定またはヒューリスティックスケジューリングに比べ、より効果的なデータカリキュラムを生成できるか？
• RQ2 学生の重み表現を状態入力として用いることで、教師は安定的で転送可能な指導方針を学習できるか？
• RQ3 学生-教師システムの性能は、表形式医療データおよび画像認識タスクにおいて、最先端手法と比較してどの程度か？
• RQ4 教師ネットワークが動的にカリキュラムを調整することで、局所最適解から脱出でき、訓練中に性能の「スパイク」が観察されるか？
• RQ5 ある医療予測タスクで訓練された教師を、微調整なしに他のタスクに成功裏に転送できる範囲はどの程度か？

主な発見

• 提案された学生-教師強化学習フレームワークは、Ward Admissionの表形式データセットで最先端の性能を達成し、すべてのベースラインおよびSOTA手法を上回った。
• MIMIC-IIIデータセットでは、転送された教師ポリシーが67% ± 1%の精度を達成し、SOTA手法と同等の性能を示し、標準ベースラインを上回った。
• 教師ネットワークは「エントロピーのスパイク」戦略を学習した。これは一時的にエントロピーの高いバッチを選択することで、局所最適解から脱出するもので、性能向上の波形が明確に観察された。
• 学生の重み表現にガウスノイズを注入した結果、教師の行動は一貫性を保った。これは、教師が強力で状態依存的な行動をとっていることを示し、安定性が確認された。
• 異なる医療予測タスク間で指導方針の転送性が確認された。これは、一般化可能な指導戦略が学習可能である可能性を示唆している。
• 重み表現を状態入力として用いることで、静的またはパフォーマンスに基づくヒューリスティックでは実現できない、複雑で適応的なカリキュラムを教師が学習可能となった。