[論文レビュー] Active Feature Acquisition with Generative Surrogate Models

Yang Li, Junier B. Oliva|arXiv (Cornell University)|Oct 6, 2020

Time Series Analysis and Forecasting参考文献 42被引用数 8

ひとこと要約

本稿では、強化学習（RL）を用いた生成的サーヴェイテルモデル（GSMRL）を提案する。これは、特徴量の依存関係を推定し、中間報酬を提供し、意思決定の効率を高めるために生成的サーヴェイテルモデルを用いるモデルベースのアクティブ特徴量取得（AFA）フレームワークである。予測精度を向上させつつ取得コストを最小化することで、教師ありおよび教師なしAFAタスクの両方で最先端の性能を達成する。

ABSTRACT

Many real-world situations allow for the acquisition of additional relevant information when making an assessment with limited or uncertain data. However, traditional ML approaches either require all features to be acquired beforehand or regard part of them as missing data that cannot be acquired. In this work, we consider models that perform active feature acquisition (AFA) and query the environment for unobserved features to improve the prediction assessments at evaluation time. Our work reformulates the Markov decision process (MDP) that underlies the AFA problem as a generative modeling task and optimizes a policy via a novel model-based approach. We propose learning a generative surrogate model (GSM) that captures the dependencies among input features to assess potential information gain from acquisitions. The GSM is leveraged to provide intermediate rewards and auxiliary information to aid the agent navigate a complicated high-dimensional action space and sparse rewards. Furthermore, we extend AFA in a task we coin active instance recognition (AIR) for the unsupervised case where the target variables are the unobserved features themselves and the goal is to collect information for a particular instance in a cost-efficient way. Empirical results demonstrate that our approach achieves considerably better performance than previous state of the art methods on both supervised and unsupervised tasks.

研究の動機と目的

• 推論時に完全な特徴量セットを前提とする従来の機械学習モデルの制限に対処すること。これは、実世界では特徴量が動的に取得可能であるという状況を反映していない。
• 各インスタンスに対して最も情報量の多い特徴量を動的に選択する強化学習ベースのアクティブ特徴量取得（AFA）フレームワークを開発すること。予測性能と取得コストのバランスを取ることが目的である。
• 特徴量の予測ではなく、未観測の特徴量そのものを回復することを目的とする、新しい教師なしAFAタスク「アクティブインスタンス認識（AIR）」を導入すること。
• 生成的サーヴェイテルモデルを用いて中間報酬と補助情報（不確実性推定値や期待情報量の増加など）を提供することで、AFAにおけるサンプル効率とクレジット割り当てを改善すること。

提案手法

• AFA問題を、観測済み特徴量の集合が状態であり、アクションが次の特徴量を取得するか、プロセスを終了するかを示すマルコフ決定過程（MDP）として再定式化する。
• 特徴量間の条件付き依存関係を捉える生成的サーヴェイテルモデル（GSM）を学習し、観測済み特徴量x_oが与えられたもとでの未観測特徴量x_jの条件付き分布p(x_j | x_o)を特にモデル化する。
• GSMを用いて、特徴量の取得による期待情報量の増加に基づく中間報酬を計算することで、報酬の疎らさを軽減し、長時間スパンのエピソードにおけるクレジット割り当てを改善する。
• 未観測特徴量の不確実性推定値、将来の期待情報量の増加、およびターゲット出力の不確実性といった補助情報を提供し、エージェントの探索と意思決定を支援する。
• モデルフリー強化学習（例：PPO）とGSMを用いたモデルベース計画法を組み合わせ、合成軌道の生成と意味的埋め込みを活用して、効率的なポリシー学習を可能にする。
• アクティブインスタンス認識（AIR）を介して、ターゲットはラベルの予測ではなく欠落した特徴量の再構築であるという教師なしAFAにフレームワークを拡張する。同じ生成モデルと報酬メカニズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 生成的サーヴェイテルモデルは、高次元かつ報酬が疎な環境において、特徴量の依存関係を効果的に推定し、アクティブ特徴量取得を支援できるか？
• RQ2 サーヴェイテルモデルから得られる中間報酬と補助情報が、AFAにおけるポリシー学習の効率と性能を顕著に向上させるか？
• RQ3 インスタンス固有の順序（動的取得）と固定順序（静的取得）の特徴量取得戦略を比較した場合、予測精度とコスト効率の面でどちらが優れているか？
• RQ4 提案されたフレームワークは、ラベル予測ではなく欠落した特徴量の回復を目的とする教師なしAFAタスク（例：アクティブインスタンス認識）に一般化可能か？
• RQ5 モデルベースとモデルフリーRLの統合は、完全にモデルフリーまたはモデルベースのベースラインと比較して、収束速度と最終的な性能をどの程度向上させるか？

主な発見

• GSMRLモデルは、教師ありおよび教師なしAFAタスクの両方で最先端の手法を上回り、より高い予測精度と低い取得コストを達成した。
• アブレーションスタディの結果、中間報酬や補助情報を削除すると性能が著しく低下し、これらがポリシー学習において重要な役割を果たしていることが確認された。
• 中間報酬と補助情報を両方備えた完全なGSMRLモデルは、サーヴェイテルモデルを含まないモデルと比較して、より速く収束し、滑らかで高い訓練報酬を達成した。
• インスタンスに応じて特徴量選択を適応的に変更する動的取得ポリシーは、すべてのインスタンスで固定順序を用いる静的ポリシーを一貫して上回った。
• 終了アクションの導入により、エージェントは適切なタイミングで特徴量の取得を停止する知的な意思決定が可能となり、あらゆる取得予算において、強制的予算制限付きのグリーディポリシーを上回る性能を発揮した。
• 合成軌道とサーヴェイテルモデルからの埋め込みを用いたモデルベースアプローチは、代替のモデルベースベースラインを上回り、提案されたGSM設計の優位性を示した。