[論文レビュー] Learning to Maximize Mutual Information for Dynamic Feature Selection

Ian Covert, Wei Qiu+4 more|arXiv (Cornell University)|Jan 2, 2023

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、目的変数との条件付き相互情報量（CMI）に基づいて特徴量を貪欲に選択する動的特徴量選択（DFS）の微分可能でアモアタイズドな最適化手法を提案する。CMIに基づく貪欲な方策を変分最適化問題として定式化し、コンクリート分布による連続的リラクゼーションを用いることで、標準的なラベル付きデータセット上でエンドツーエンドの学習が可能となり、複数のベンチマークで先行する静的および動的特徴量選択手法を上回る性能を発揮する。

ABSTRACT

Feature selection helps reduce data acquisition costs in ML, but the standard approach is to train models with static feature subsets. Here, we consider the dynamic feature selection (DFS) problem where a model sequentially queries features based on the presently available information. DFS is often addressed with reinforcement learning, but we explore a simpler approach of greedily selecting features based on their conditional mutual information. This method is theoretically appealing but requires oracle access to the data distribution, so we develop a learning approach based on amortized optimization. The proposed method is shown to recover the greedy policy when trained to optimality, and it outperforms numerous existing feature selection methods in our experiments, thus validating it as a simple but powerful approach for this problem.

研究の動機と目的

• 特徴量が利用可能な情報に基づいて逐次的に取得される動的特徴量選択（DFS）の課題に対処すること。
• 貪欲なCMIに基づく選択において正確な条件付き相互情報量（CMI）計算に必要なデータ分布へのオракルアクセスが現実的でないという問題を克服すること。
• 訓練が難しく、しばしば性能が劣る強化学習ベースのDFS手法の実用的で学習可能な代替手法を開発すること。
• エキスパートのデモンストレーションや複雑な生成モデリングを必要とせず、標準的なラベル付きデータのみで特徴量選択方策のエンドツーエンド学習を可能にすること。
• 学習済み方策が収束した際に理論的に最適な貪欲なCMI方策を回復することを検証し、理論的整合性を保証すること。

提案手法

• 本手法は、貪欲なCMI方策を変分最適化問題として定式化し、最適な分類器を用いた1ステップ先予測誤差を最小化することと同等であることを示す。
• 標準的なラベル付きデータセットのみを用いて、方策ネットワークを訓練し、次の特徴量を直接予測するアモアタイズド最適化フレームワークを導入する。
• コンクリート分布による連続的リラクゼーションにより、離散的特徴量選択意思決定における微分可能で勾配ベースの最適化が可能になる。
• 方策および予測ネットワークを、グローバル最小値が正確に貪欲なCMI方策に対応する損失関数を用いて同時に学習する。
• グループ行列を介したマスクプロジェクションの変更により、特徴量のグループ化をサポートし、ワンホットエンコーディングされたカテゴリカル特徴量への応用を可能にする。
• アーキテクチャに依存しないアプローチであり、標準的なディープラーニングコンponentsを用いて、表形式データ、画像、その他のデータモダリティに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 学習可能な方策は、実際の応用において理論的に最適な貪欲な条件付き相互情報量（CMI）特徴量選択方策を回復できるか？
• RQ2 提案手法のアモアタイズドで微分可能な特徴量選択手法は、既存の静的および動的特徴量選択ベースラインと比較してどの程度の性能を示すか？
• RQ3 特徴量予算制約が異なる条件下でも、本手法は表形式データや画像パッチなど多様なデータタイプに一般化可能か？
• RQ4 動的設定において必要とされるように、学習済み方策はサンプルごとに異なる特徴量を適応的に選択するか？
• RQ5 本手法は特徴量のグループ化やワンホットエンコーディングされたカテゴリカル特徴量に対して頑健か？

主な発見

• 提案手法は、6つの表形式データセットと2つのビジョンデータセット（MNIST, CIFAR-10）において、多数の最近の静的および動的特徴量選択手法を上回り、最先端の性能を達成した。
• 3つの救急医療診断タスクでは、8つの特徴量の予算でAUROCスコアが0.975を達成し、同じ予算でSAGE（0.883）やDeepLift（0.869）といったベースラインを大きく上回った。
• 糖尿病データセットではAUROCが0.973、フラッドデータセットでは0.975を達成し、8つの特徴量の予算で強力な一般化性能を示した。
• 特徴量選択頻度のヒートマップから、モデルがサンプルごとに異なる特徴量を選択していることが明らかになり、動的で文脈依存的な挙動を確認した。
• アブレーションスタディの結果、キーコンポーネント（例：コンクリートリラクゼーションやアモアタイズド方策）を除去すると性能が著しく低下し、設計選択の妥当性が裏付けられた。
• CIFAR-10における定性的な結果では、方策が情報量に基づいて構造的かつ適応的に画像パッチを選択するよう学習しており、予測された情報量に応じて縦ストライプに注目する傾向が見られた。