[論文レビュー] Robust Bayesian Classification Using an Optimistic Score Ratio

Viet Anh Nguyen, Nian Si+1 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Statistical Methods and Models被引用数 4

ひとこと要約

本稿では、限られたデータしか入手できない状況下で、クラス条件付き分布の不確実性を扱うために、楽観的なスコア比を用いたロバストなベイジアン二値分類器を提案する。平均および分散に関する制約によって定義されるアンビエティティ集合上で最適化することで、統計的ロバスト性と計算の実行可能性を確保しつつ、合成データおよび実世界のデータにおいて優れた性能を達成する。

ABSTRACT

We build a Bayesian contextual classification model using an optimistic score ratio for robust binary classification when there is limited information on the class-conditional, or contextual, distribution. The optimistic score searches for the distribution that is most plausible to explain the observed outcomes in the testing sample among all distributions belonging to the contextual ambiguity set which is prescribed using a limited structural constraint on the mean vector and the covariance matrix of the underlying contextual distribution. We show that the Bayesian classifier using the optimistic score ratio is conceptually attractive, delivers solid statistical guarantees and is computationally tractable. We showcase the power of the proposed optimistic score ratio classifier on both synthetic and empirical data.

研究の動機と目的

• 訓練データが限られている、もしくは不均一な状況下で、クラス条件付き分布のモデル不確実性に対処すること。
• 尤度関数の誤指定に対しても統計的に信頼性が保証されるベイジアン分類フレームワークを構築すること。
• アンビエティティ集合に平均および分散の構造的制約を組み込み、ロバストな推論を実現すること。
• 分布的ロバスト最適化において、理論的保証を維持しつつ計算の実行可能性を確保すること。
• アンビエティティ下での誤分類リスクを最小化する意思決定理論的アプローチを提供すること。

提案手法

• モデル不確実性下での事後確率の最小化を目的としたベイジアン意思決定フレームワークを用いる。
• クラス条件付き分布のアンビエティティ集合を、平均ベクトルおよび共分散行列に関する制約によって定義する。
• アンビエティティ集合上で最悪ケースの尤度比を最大化することで、分布的ロバスト最適化を適用する。
• アンビエティティ集合内から最も妥当性の高い分布を選択する楽観的なスコア比を用いて分類をガイドする。
• 双対最適化を用いて閉形式の解を導出し、問題をパラメータγに関する1次元の凸最小化問題に簡略化する。
• ラグランジュ双対性および行列逆行列恒等式を用いて、平均および共分散の調整を含む最適な分類器パラメータを導出する。

実験結果

リサーチクエスチョン

• RQ1 クラス条件付き分布の不確実性が生じ、平均および共分散といった部分的な情報しか入手できない状況下で、どのようにベイジアン分類をロバスト化できるか？
• RQ2 柔軟性と統計的信頼性の両立を図る上で、クラス条件付き分布のアンビエティティ集合を最適に定義する方法は何か？
• RQ3 分布的不確実性下でも強い理論的保証を維持しつつ、計算の実行可能性を確保できる分類器を導出できるか？
• RQ4 モデル誤指定下で、楽観的なスコア比は標準的なベイジアン手法に比べてどのように分類性能を向上させるか？
• RQ5 特徴量分布のモーメント制約によって定義されるアンビエティティ下で、最適な分類器の構造はどのようなものか？

主な発見

• 提案された楽観的なスコア比分類器は計算的に実行可能であり、パラメータγに関する1次元の凸最適化問題に簡略化される。
• 双対問題における目的関数は厳密に凸であり、γが無限大に近づくと無限大に発散するため、一意の最小化点が保証される。
• 共分散行列の最適解は、名目共分散とテスト点のマハラノビス距離の重み付き組み合わせを用いて閉形式で導出される。
• アンビエティティ集合内での最も望ましい分布を考慮することで、共変量シフト下でも一般化性能が向上する。
• 合成データおよび実データを用いた実験により、本手法の優れた性能とモデル不確実性下での安定性が示された。
• 理論的分析により、本手法が一貫性および分布的シフトに対するロバスト性といった堅固な統計的保証を提供することが確認された。