[論文レビュー] Implicit Deep Adaptive Design: Policy-Based Experimental Design without Likelihoods

Desi R. Ivanova, Adam S. Foster+3 more|arXiv (Cornell University)|Nov 3, 2021

Optimal Experimental Design Methods被引用数 11

ひとこと要約

この論文は、明示的な尤度が存在しない暗黙的モデルを対象としたリアルタイムな適応的実験設計のための、暗黙的深層適応的設計（iDAD）を紹介する。尤度フリーな相互情報量の下界（InfoNCE および NWJ）を用いて深層方策ネットワークを学習することで、デプロイ時においてミリ秒スケールの設計意思決定が可能となり、非アモルタイズド BOED より優れた性能を発揮するとともに、SDE や ODE といった複雑なモデルへ方策ベースの設計を拡張する。

ABSTRACT

We introduce implicit Deep Adaptive Design (iDAD), a new method for performing adaptive experiments in real-time with implicit models. iDAD amortizes the cost of Bayesian optimal experimental design (BOED) by learning a design policy network upfront, which can then be deployed quickly at the time of the experiment. The iDAD network can be trained on any model which simulates differentiable samples, unlike previous design policy work that requires a closed form likelihood and conditionally independent experiments. At deployment, iDAD allows design decisions to be made in milliseconds, in contrast to traditional BOED approaches that require heavy computation during the experiment itself. We illustrate the applicability of iDAD on a number of experiments, and show that it provides a fast and effective mechanism for performing adaptive design with implicit models.

研究の動機と目的

• 尤度が計算不能な暗黙的モデルに対して、スケーラブルでリアルタイムな適応的実験設計手法の不足を解消すること。
• DAD などの従来の方策ベース手法が条件付き独立な実験と明示的な尤度を必要としているという制限を克服すること。
• 設計方策ネットワークのエンドツーエンド訓練により、ベイズ最適実験設計（BOED）のコストをアモルタイズすること。
• 同じクリティックネットワークを用いて、高速な設計意思決定と尤度フリーな後方分布推論を両立させること。
• SDE や ODE を含む複雑で時間依存的かつ確率的なモデル、例えば SDE を用いた SIR モデルや Lotka-Volterra モデルへの適用可能性を拡張すること。

提案手法

• 過去の設計-結果ペアから次の最適な設計をマップするための深層方策ネットワークを訓練し、デプロイ時にミリ秒スケールの意思決定を可能にする。
• 方策ネットワークの訓練のための代替目的関数として、尤度フリーな相互情報量の下界（InfoNCE および NWJ）を用いる。
• 相互情報量の推定と後方分布推論を支援するため、方策ネットワークとともに訓練される補助クリティックネットワークを活用する。
• 条件付き独立な設計を超えて時間的依存性を捉えるために、LSTM を用いたアーキテクチャを採用し、逐次的な実験履歴を符号化する。
• 学習率の段階的低下とコントラストサンプリングを用いて、確率的勾配降下法で方策とクリティックを同時に訓練する。
• モデル出力 $ y|\theta,\xi $ と勾配 $ \partial y/\partial \xi $ の微分可能シミュレーションを活用し、シミュレータを介したバックプロパゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的な尤度が不要な暗黙的モデルにおいて、リアルタイムな適応的実験設計を実現できるか？
• RQ2 尤度フリーな相互情報量の下界（InfoNCE および NWJ）は、BOED のための設計方策ネットワークの訓練に効果的に適用可能か？
• RQ3 iDAD は、情報量の増加と推論の正確性の観点で、非アモルタイズド BOED や既存の方策ベース手法を上回る性能を発揮するか？
• RQ4 iDAD の訓練中に学習された同一のクリティックネットワークは、尤度フリーな後方分布推論を可能にするか？
• RQ5 iDAD は、SDE や ODE、時系列データなどの異なるモデルクラスにおいて、ベースラインと比較してどの程度の性能を発揮するか？

主な発見

• SDE を用いた SIR モデルにおいて、T=5 回の測定で iDAD は InfoNCE で 3.915 ± 0.020、NWJ で 3.869 ± 0.001 の期待情報量を達成し、ノイズの強いポisson 観測モデルを用いた先行研究を上回った。
• 測定回数が増えるほど期待情報量が増加し、特に T=1 から T=2 への段階で最大の増加が観察された。これは、SIR モデルの2つのパラメータ推定に2回の測定が不可欠であることを示している。
• 5つの異なる乱数シードで安定した学習が確認された：iDAD-InfoNCE は平均下界 3.906 ± 0.007、iDAD-NWJ は 3.859 ± 0.009 を示し、一貫性のある性能を発揮した。
• 非アモルタイズド SG-BOED（平均下界 3.749 ± 0.012）と MINEBED（3.397 ± 0.015）を上回ったことから、アモルタイズド学習が情報量推定の精度向上に寄与していることが示された。
• 条件付き独立な設計に限定されない汎用性が確認され、時系列や動的モデル（Lotka-Volterra 系）に対しても効果的に適用可能であった。
• iDAD の訓練中に学習されたクリティックネットワークは、尤度フリーな後方分布推論を可能にし、一度のフレームワークで設計と推論の二重の利点をもたらした。