[論文レビュー] ASAC: Active Sensing using Actor-Critic models

Jinsung Yoon, James Jordon+1 more|arXiv (Cornell University)|Jun 16, 2019

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 4

ひとこと要約

ASACは、観測が高コストな医療分野におけるアクティブセンシング問題を解消するための深層強化学習フレームワークであり、アクタ・クリティックモデルを用いる。観測の選択を決定するセレクタネットワークと、予測誤差を介してフィードバックを提供する予測ネットワークを同時に学習させ、全特徴量と選択された特徴量の分布間のKLダイバージェンスを最小化するとともに、観測コストをバランスさせる。

ABSTRACT

Deciding what and when to observe is critical when making observations is costly. In a medical setting where observations can be made sequentially, making these observations (or not) should be an active choice. We refer to this as the active sensing problem. In this paper, we propose a novel deep learning framework, which we call ASAC (Active Sensing using Actor-Critic models) to address this problem. ASAC consists of two networks: a selector network and a predictor network. The selector network uses previously selected observations to determine what should be observed in the future. The predictor network uses the observations selected by the selector network to predict a label, providing feedback to the selector network (well-selected variables should be predictive of the label). The goal of the selector network is then to select variables that balance the cost of observing the selected variables with their predictive power; we wish to preserve the conditional label distribution. During training, we use the actor-critic models to allow the loss of the selector to be "back-propagated" through the sampling process. The selector network "acts" by selecting future observations to make. The predictor network acts as a "critic" by feeding predictive errors for the selected variables back to the selector network. In our experiments, we show that ASAC significantly outperforms state-of-the-arts in two real-world medical datasets.

研究の動機と目的

• 各観測が経済的負担または患者への負担を伴う医療現場における、高コストな逐次的観測の課題に対処すること。
• 予測精度と観測コストのバランスを取る、逐次的意思決定問題としてアクティブセンシングを定式化すること。
• 静的データおよび時系列データの両方を扱える深層学習フレームワークを構築し、時間経過に伴う特徴量選択を可能とすること。
• ノイズが多い、あるいは高コストな測定条件下でも、ラベルの条件付き分布を保持するように選択された特徴量を確保すること。
• 個々の患者に適した最適な観測ポリシーを学習することで、個別化され、コスト効率の良いスクリーニングとモニタリングを可能とすること。

提案手法

• 2ストリームのニューラルネットワークアーキテクチャを採用：過去の測定に基づいて将来の観測を決定するセレクタネットワーク（アクター）と、選択された特徴量を用いてラベルを予測する予測ネットワーク（クリティック）。
• クリティックの予測誤差を報酬信号として用い、ポリシー勾配法によりセレクタを学習することで、確率的サンプリングを介したバックプロパゲーションを可能にする。
• 全特徴量と選択された特徴量の条件付きラベル分布間のKLダイバージェンスと、観測コストに対するペナルティ項を組み合わせた損失関数を最適化する。
• 離散的観測選択の性質にもかかわらず勾配ベース最適化が可能となる、微分可能サンプリング機構を導入する。
• 過去の選択に依存する将来の観測をモデル化することで、逐次的意思決定を扱う。静的および時系列設定の両方をカバーする。
• 予測された患者状態（例：病気か健康か）に応じて観測コストを調整することで、ラベル依存コストを統合し、精度優先の適応的優先順位付けを可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習フレームワークは、高コストな測定を効果的に選択し、情報量が多く、コストが低い観測を学習できるか？
• RQ2 最先端手法と比較して、ASACは観測数を最小限に抑えつつ、予測性能をどの程度維持できるか？
• RQ3 患者の状態が悪化した場合でも、コストが増加しても、ASACは正確な測定を適応的に優先できるか？
• RQ4 安価でノイジーな代替測定が利用可能な状況において、ASACはノイズの多いまたは不完全な測定に対してどれほど頑健か？
• RQ5 現実の臨床データセットで一般的に見られる欠損データの状況下でも、ASACは性能を維持できるか？

主な発見

• ASACは2つの実世界の医療データセットにおいて、最先端手法を著しく上回り、予測精度の損失を最小限に抑えつつ観測コストを削減した。
• MIMIC-IIIデータセットにおいて、ASACは欠損データに対して頑健であり、特徴量の不完全な可用性下でも高い性能を維持した。
• ノイジーな特徴量を含む合成実験では、コストが上昇するにつれてASACは真の特徴量を正しく優先し、コストが低い場合にはノイジーなバージョンのみを選択した。
• 患者の状態に応じて観測コストが変化する場合（例：病状が悪化するとコストが上昇）、ASACは患者が病状が悪化した際、真の特徴量の使用頻度を最大で700％まで増加させ、適応的行動を示した（η=0.1）。
• γ=0.6の条件下では、ASACは真のX²のバージョンを独占的に選択し、真のX¹の特徴量に対しても時折測定を開始した。これは、コストと精度のバランスを効果的に学習していることを示している。
• ASACは、高ノイズ、高コスト、ラベル依存コストの各状況下において、予測力とコストの両方を効果的にバランスさせた。