[論文レビュー] Beyond Binomial and Negative Binomial: Adaptation in Bernoulli Parameter Estimation

Safa C. Medin, John Murray–Bruce+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Optical Sensing Technologies参考文献 41被引用数 8

ひとこと要約

この論文は、リアルタイムの観測に基づいて試行回数を動的に割り当てる、トレリスに基づく適応的停止ルールを提案し、ベルヌーイ分布のパラメータ推定において、従来の二項分布および負の二項分布サンプリングを上回る性能を達成する。ベータ事前分布と単純なオンライン閾値ベースのルールを用いることで、漸近的にオракル支援の試行割り当て性能に達し、低照度画像処理のシミュレーションにおいて平均二乗誤差を最大4.36 dBまで低減する。

ABSTRACT

Estimating the parameter of a Bernoulli process arises in many applications, including photon-efficient active imaging where each illumination period is regarded as a single Bernoulli trial. Motivated by acquisition efficiency when multiple Bernoulli processes are of interest, we formulate the allocation of trials under a constraint on the mean as an optimal resource allocation problem. An oracle-aided trial allocation demonstrates that there can be a significant advantage from varying the allocation for different processes and inspires a simple trial allocation gain quantity. Motivated by realizing this gain without an oracle, we present a trellis-based framework for representing and optimizing stopping rules. Considering the convenient case of Beta priors, three implementable stopping rules with similar performances are explored, and the simplest of these is shown to asymptotically achieve the oracle-aided trial allocation. These approaches are further extended to estimating functions of a Bernoulli parameter. In simulations inspired by realistic active imaging scenarios, we demonstrate significant mean-squared error improvements: up to 4.36 dB for the estimation of p and up to 1.80 dB for the estimation of log p.

研究の動機と目的

• 光子制限下の画像処理応用における固定試行割り当ての非効率性を是正すること。
• 平均試行回数の予算制約下で、最適な試行割り当てをリソース割り当て問題として定式化すること。
• 成功確率pの事前知識が不要な適応的停止ルールを設計し、推定精度を向上させること。
• 従来のサンプリング手法と比較して、現実的なアクティブイメージング環境における平均二乗誤差（MSE）の顕著な低減を示すこと。

提案手法

• ベルヌーイ分布のパラメータpの推定を、共役事前分布としてのベータ分布を用いたベイズ問題としてモデル化する。
• 最適な停止ルールをトレリスグラフ構造で表現することで、効率的な動的計画法による最適化を可能にする。
• グリーディ、閾値ベース、価値反復ベースの3つの実装可能な停止ルールを提案し、それぞれ類似した性能を示す。
• 観測結果に基づいて試行割り当てを動的に調整するオンライン閾値ベースのルールを用い、漸近的最適性を達成する。
• 同じ適応的停止メカニズムを用いて、pの関数（例：log p）の推定へと拡張する。
• 空間相関を活用するため、適応的取得と全変動正則化画像再構成を統合する。

実験結果

リサーチクエスチョン

• RQ1 固定された二項分布または負の二項分布サンプリングと比較して、適応的試行割り当てはベルヌーイ分布パラメータ推定における推定誤差を顕著に低減できるか？
• RQ2 pの事前知識がなくとも、データ駆動型の停止ルールが、pを事前に知っているオラクル支援最適割り当ての性能をどの程度近似できるか？
• RQ3 提案されたトレリスベースのフレームワークは、ベイズ推定における最適停止ルールの効率的計算をどのように可能にするか？
• RQ4 小さなpを伴う低照度画像処理に適応的サンプリングを適用した場合、推定精度の向上はどの程度達成可能か？
• RQ5 適応的フレームワークは、log pなどのpの非線形関数の推定へと拡張可能であり、性能向上が得られるか？

主な発見

• 提案された閾値ベースの停止ルールは漸近的最適性を達成し、pを事前に知っているオラクル支援ソリューションの性能と一致する。
• 光子数が少ないアクティブイメージングのシミュレーションにおいて、従来の二項分布サンプリングと比較して、平均二乗誤差を最大4.36 dBまで低減する。
• log pの推定においては、二項分布サンプリングと比較して最大1.86 dB、負の二項分布サンプリングと比較して最大3.78 dBのMSE改善を達成する。
• MSEの改善は試行回数の予算が高くなるにつれて増大し、より多くのリソースが利用可能な状況でより顕著な利点を示す。
• トレリスベースのフレームワークにより、最適停止ルールの効率的計算が可能となり、一般の木構造から構造化されたグラフへの設計問題の簡略化が実現される。
• 全変動正則化と組み合わせても性能の向上が維持されることから、現実の画像処理パイプラインにおけるロバストネスを示す。