[論文レビュー] Deep Reinforcement Learning for Multi-class Imbalanced Training

Jenny Yang, Rasheed El-Bouri+4 more|arXiv (Cornell University)|May 24, 2022

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本論文は、臨床データセットにおけるマルチクラスのデータ不均衡問題に対処するため、ダイングおよびダブルDQNアーキテクチャを用いた深層強化学習フレームワークを提案する。独自の報酬関数を導入することで、少数クラスの検出性能を著しく向上させつつ、全クラスにわたる性能のバランスを維持した。最先端手法を上回る性能を示した。

ABSTRACT

With the rapid growth of memory and computing power, datasets are becoming increasingly complex and imbalanced. This is especially severe in the context of clinical data, where there may be one rare event for many cases in the majority class. We introduce an imbalanced classification framework, based on reinforcement learning, for training extremely imbalanced data sets, and extend it for use in multi-class settings. We combine dueling and double deep Q-learning architectures, and formulate a custom reward function and episode-training procedure, specifically with the added capability of handling multi-class imbalanced training. Using real-world clinical case studies, we demonstrate that our proposed framework outperforms current state-of-the-art imbalanced learning methods, achieving more fair and balanced classification, while also significantly improving the prediction of minority classes.

研究の動機と目的

• 少数疾患クラスが不足している臨床機械学習におけるマルチクラスデータ不均衡の課題に対処すること。
• クラス不均衡に基づいて動的に学習を調整できる強化学習ベースの学習フレームワークを開発し、少数クラスの予測性能を向上させること。
• 従来の単一クラスRLアプローチを、現実の臨床データを用いたマルチクラス設定に拡張すること。
• SMOTE、コストセンシティブ学習、アンサンブルモデルを含む最先端技術と比較して、本手法の有効性を評価すること。
• 特に希少な臨床診断において、公平性と全クラスにわたるバランスの取れた性能が向上することを示すこと。

提案手法

• 学習の安定化と価値関数推定の向上を図るため、ダイングおよびダブルディープQネットワーク（DQN）アーキテクチャを採用する。
• 少数クラスの正しく分類されるよう促進するため、クラス頻度の逆数に比例する報酬を採用したカスタム密度報酬関数を設計する。
• エピソードベースの学習手順を実装し、各エピソードが訓練エポックに対応する。エージェント（モデル）は、累積報酬を最大化するように行動（学習更新）を選択する。
• クラスに配慮した探索と優先順位付き経験再生を統合することで、不均衡データにおけるサンプル効率と収束性を向上させる。
• 各クラスをエージェントの行動空間内での別個の意思決定ターゲットとして扱うことで、マルチクラス分類をサポートする。
• エージェントはクラス分布の変化に基づいて方策を学習し、データ再サンプリングやクラスウェイトの設定なしに適応的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 従来のデータレベル・アルゴリズムレベルのアプローチと比較して、強化学習フレームワークはマルチクラス不均衡臨床データセットにおける分類性能を著しく向上させることができるか？
• RQ2 標準モデルが失敗する状況下で、提案されたRL手法は希少な臨床状態の検出にどの程度有効であるか？
• RQ3 カスタム報酬関数は、多数クラスの性能を劣化させることなく、少数クラスの学習をどの程度向上させるか？
• RQ4 本フレームワークは、数十個の診断コードを含むマルチクラス問題にどの程度スケーラブルか？また、クラスの異質性は性能にどのような影響を及えるか？
• RQ5 コストセンシティブ学習やSMOTEのようなデータ増強技術と比較して、RLベースの手法はG-meanやFスコアなどのバランス性能をより良く達成できるか？

主な発見

• 提案されたRLフレームワークは、全テストセットにおいて最高または第2位のG-meanスコアを達成し、全クラスにわたる優れたバランス性能を示した。
• 二値のCOVID-19予測タスクでは、RLモデルが平均感度0.703（95%信頼区間：0.539–0.785）を達成し、ベースラインニューラルネットワーク（0.236）およびXGBoost（0.288）を著しく上回った。
• マルチクラス診断タスクでは、個別および平均の少数クラスFスコアにおいて、RLが最も優れた性能を示し、多様な臨床状態にわたる頑健性を確認した。
• コストセンシティブ重みの追加により、ベースラインモデルの感度は向上したが、多数クラスの正確性が低下した。一方、RLは全指標で高い性能を維持した。
• SMOTE増強は最小限の改善しかもたらさず、特にニューラルネットワークでは、ノイズの多いまたは重複する合成サンプルのため性能が低下したケースもあった。
• 急性腎障害の予測に最も苦戦したが、これは入力特徴量に血液検査や尿検査といった重要な診断マーカーが欠落していたためと推察される。