[論文レビュー] Why Pay More When You Can Pay Less: A Joint Learning Framework for Active Feature Acquisition and Classification

Hajin Shim, Sung Ju Hwang+1 more|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms参考文献 19被引用数 8

ひとこと要約

本論文は、強化学習（RL）と分類を統合する共同学習フレームワークを提案し、コスト効率の良いアクティブ特徴抽出を実現する。RLエージェントが順次特徴を選択することで、収集コストを最小限に抑えつつ予測精度を最大化する。本手法は順序に依存しないLSTMを用いたセット符号化機構を採用し、RLエージェントと分類器を同時に学習することで、合成データおよび実際のEHRデータセットにおいて、より少ない特徴数でベースラインを上回るAUCスコアを達成する。

ABSTRACT

We consider the problem of active feature acquisition, where we sequentially select the subset of features in order to achieve the maximum prediction performance in the most cost-effective way. In this work, we formulate this active feature acquisition problem as a reinforcement learning problem, and provide a novel framework for jointly learning both the RL agent and the classifier (environment). We also introduce a more systematic way of encoding subsets of features that can properly handle innate challenge with missing entries in active feature acquisition problems, that uses the orderless LSTM-based set encoding mechanism that readily fits in the joint learning framework. We evaluate our model on a carefully designed synthetic dataset for the active feature acquisition as well as several real datasets such as electric health record (EHR) datasets, on which it outperforms all baselines in terms of prediction performance as well feature acquisition cost.

研究の動機と目的

• 予測の過程で特徴を収集する際のコスト感受性の高い方法を解決すること、特にデータ収集が高コストな医療現場において。
• アクティブ特徴抽出を、予測性能と特徴収集コストを同時に最適化する強化学習問題として定式化すること。
• RLエージェントと分類器が表現を共有する統一されたフレームワークを設計し、事前に定義されたモデルが不要な系統的かつ安定的な学習を可能にすること。
• 特徴の欠損と変動する収集コストを、特徴の順序不変性を保つ新しいセット符号化機構によって処理すること。
• 合成および実世界のEHRデータセット上で本フレームワークを実証的に検証し、特徴収集コストを大幅に削減しながら優れた性能を示すこと。

提案手法

• 予測損失と収集コストのバランスを取るために、コスト感受性の正則化子を用いた強化学習問題としてアクティブ特徴抽出を定式化する。
• 順序に依存しないLSTMに基づくセットエンコーダーを導入し、欠損値の処理を効果的に行い、同時に学習を可能にする。
• 実数値の特徴空間において学習を安定化させるために、リプレイメモリと遅延されたターゲット更新を用いたDQNを採用する。
• 特徴符号化のための低層表現を共有するマルチタスクディープネットワークを用いて、RLエージェントと分類器を共同で学習する。
• 十分な信頼性が得られた場合に特徴収集を早期終了できるように、nullアクション（∅）をアクション空間に追加する。
• 分類器の予測結果を用いてRLエージェントの報酬信号を設計し、特徴選択と予測の両方を改善するフィードバックループを構築する。

実験結果

リサーチクエスチョン

• RQ1 RLエージェントと分類器の共同学習フレームワークは、逐次的または独立した学習と比較して、コスト効率の良い特徴抽出を改善できるか？
• RQ2 欠損または不完全な特徴セットを、予測力の維持とエンドツーエンド学習の両方を可能にする方法で効果的に符号化できるか？
• RQ3 RLエージェントと分類器が潜在表現を共有することで、より良い性能とより効率的な特徴抽出が達成できるか？
• RQ4 提案されたフレームワークは、顕著に少ない特徴数で使用しながら、完全な特徴を用いたベースラインを上回る予測精度を達成できるか？
• RQ5 特徴収集コストが高額な実世界の不均衡な医療データセット（例：EHRデータ）において、モデルはどのように性能を発揮するか？

主な発見

• 提案されたフレームワークは、EHRデータセットにおいて、元の特徴のわずか一部しか使用しなくても、完全な特徴を用いたMLPと同等に近いAUCスコアを達成した。
• PhysioNet 2012 ICUデータセットでは、Glasgow Coma Scale（GCS）、血清尿素窒素、血清クレアチニンといった臨床的に関連性の高い特徴が、上位優先度として選択された。
• すべてのベースライン（DQNのみ、別個学習モデルを含む）と比較して、特徴収集コストを顕著に削減しながら、予測性能を維持または向上させた。
• フレームワーク内の修正版RAMは、元のRAMよりも少ない特徴数でより高い精度を達成した。これは、∅アクションと報酬設計の恩恵を示している。
• 共有表現を用いた共同学習は、RLエージェントと分類器を別個に学習するよりも優れた性能を示し、情報共有の価値を確認した。
• ベースライン（DWSCやQ-only）とは異なり、本フレームワークはEHRデータのクラス不均衡に対しても正常に機能し、多数クラスに偏る予測に陥らなかった。