[論文レビュー] Training Neural Networks for Likelihood/Density Ratio Estimation

George V. Moustakides, Kalliopi Basioti|arXiv (Cornell University)|Nov 1, 2019

Anomaly Detection Techniques and Applications参考文献 19被引用数 15

ひとこと要約

本稿では、パラメトリックな密度仮定を必要とせず、標本から直接尤度比およびその変換（例：対数尤度比）を推定するための統一的かつデータ駆動型の手法を提案する。最適化問題を定式化することで、ニューラルネットワークの解が望ましい関数に収束することを保証し、検出および仮説検定において高精度な推定を可能にする。シミュレーションにより、たった2,500件の訓練標本でほぼ最適性能を達成することが示された。

ABSTRACT

Various problems in Engineering and Statistics require the computation of the likelihood ratio function of two probability densities. In classical approaches the two densities are assumed known or to belong to some known parametric family. In a data-driven version we replace this requirement with the availability of data sampled from the densities of interest. For most well known problems in Detection and Hypothesis testing we develop solutions by providing neural network based estimates of the likelihood ratio or its transformations. This task necessitates the definition of proper optimizations which can be used for the training of the network. The main purpose of this work is to offer a simple and unified methodology for defining such optimization problems with guarantees that the solution is indeed the desired function. Our results are extended to cover estimates for likelihood ratios of conditional densities and estimates for statistics encountered in local approaches.

研究の動機と目的

• 古典的な尤度比推定の代替として、パラメトリック密度仮定を回避するデータ駆動型の手法を開発すること。
• 検出理論で用いられる尤度比、対数尤度比、その他の統計量の推定に向けたニューラルネットワークの訓練を統合すること。
• 最適化問題のニューラルネットワーク解が、真の望ましい関数（例：尤度比またはその変換）に収束することを保証すること。
• 尤度比の代わりに対数尤度比を直接推定することで、逐次的変化検出および分類の性能を向上させること。
• 既存手法では困難な非負尤度比推定の課題に対処すること。

提案手法

• 目的関数を設計することで、最適解が望ましい尤度比の変換関数に一致する一般化された最適化問題を定式化する。
• 帰無仮説密度下での期待値を含むコスト関数を用い、関数ϕ(u)およびψ(u)を適切に選定することで、解が目標関数（例：対数尤度比）に一致するように制御する。
• 安定な学習を可能にし、ネットワークが正しい関数形を学習できるように、最適化に指数損失を適用する。
• 2つの別個のニューラルネットワークを用いる：1つは1次対数尤度比の推定に、もう1つはマルコフ連鎖モデルにおける2次条件付き対数尤度比の推定に使用する。
• ステップサイズμ=2×10⁻⁴、平滑化パrameterλ=0.99という固定ハイパーパrameterを用い、10,000イテレーションにわたり確率的勾配降下法でネットワークを訓練する。
• 合成データを用いて、推定された対数尤度比に基づく近似CUSUM統計量と、既知の密度を用いた正確なCUSUMとの比較により、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック密度推定を経由せずに、データから直接対数尤度比を推定できるようにニューラルネットワークを訓練できるか？
• RQ2 尤度比の直接推定は、従来の尤度比推定法よりも検出タスクで優れた性能を示すか？
• RQ3 訓練標本数が逐次的変化検出における推定対数尤度比の性能に与える影響は何か？
• RQ4 提案された最適化フレームワークは、ニューラルネットワークの解が真の尤度比関数に収束することを保証できるか？
• RQ5 訓練データにおけるレアイベントの影響は、長期的な検出における推定対数尤度比のロバストネスにどのような影響を与えるか？

主な発見

• 各分布に対して2,500件の訓練標本を用いた場合、ニューラルネットワークベースの近似CUSUMは、既知の密度を用いた正確なCUSUMとほぼ区別できない検出性能を達成した。
• 500件の訓練標本しか得られない場合、レアイベントの表現が不十分となり、特に誤報期間が長いテスト環境下で性能が著しく低下した。
• 尤度比の代わりに対数尤度比を直接推定することで、検出タスクにおける性能に顕著な向上が見られた。
• 提案された最適化フレームワークにより、ニューラルネットワークの解が望ましい関数に収束することが保証され、推定に対する理論的保証が得られた。
• 本手法は自然に非負尤度比推定を実現するが、これは従来の密度比推定手法では困難な性質である。
• 500件から2,500件の標本に増加した際の性能向上は、最適化の失敗によるものではなく、より良いレアイベントのカバレッジに起因しており、トレーニングにおけるデータ多様性の重要性を強調している。