[論文レビュー] On Tractable Computation of Expected Predictions

Pasha Khosravi, YooJung Choi+3 more|arXiv (Cornell University)|Oct 5, 2019

Neural Networks and Applications被引用数 25

ひとこと要約

本稿では、共有vtree構造を有する確率的回路を用いて、生成モデルに関して判別モデル（回帰器）の正確な期待値および任意の高次モーメントを扱える、計算可能（tractable）なフレームワークを提案する。確率的回路における構造的制約を活用することで、多項式時間でモーメントを計算可能となり、欠損データ補完において著しく高いロバストネスを実現するとともに、分類および回帰の両シナリオにおいて、公平性および説明可能性のための体系的で効率的なモデル分析を可能にする。

ABSTRACT

Computing expected predictions of discriminative models is a fundamental task in machine learning that appears in many interesting applications such as fairness, handling missing values, and data analysis. Unfortunately, computing expectations of a discriminative model with respect to a probability distribution defined by an arbitrary generative model has been proven to be hard in general. In fact, the task is intractable even for simple models such as logistic regression and a naive Bayes distribution. In this paper, we identify a pair of generative and discriminative models that enables tractable computation of expectations, as well as moments of any order, of the latter with respect to the former in case of regression. Specifically, we consider expressive probabilistic circuits with certain structural constraints that support tractable probabilistic inference. Moreover, we exploit the tractable computation of high-order moments to derive an algorithm to approximate the expectations for classification scenarios in which exact computations are intractable. Our framework to compute expected predictions allows for handling of missing data during prediction time in a principled and accurate way and enables reasoning about the behavior of discriminative models. We empirically show our algorithm to consistently outperform standard imputation techniques on a variety of datasets. Finally, we illustrate how our framework can be used for exploratory data analysis.

研究の動機と目的

• 任意の生成分布下での判別モデルに対する予測の期待値を計算する際の計算非効率性を解決すること。
• 生成モデルと判別モデルの両方に共通のvtree構造を持つ確率的回路のペアを同定し、回帰において正確な期待値および高次モーメントの多項式時間計算を可能とすること。
• 正確な計算が非効率な場合に備え、分類タスクへの拡張のための効率的な近似手法を開発すること。
• 特に欠損データやサブグループ分析の文脈において、不確実性下でのモデル行動に関する体系的推論を可能とすること。
• 実世界のデータセットにおいて、標準的手法に比べて本フレームワークの優位性を示すこと。

提案手法

• 分解可能性やd分離性などの構造的制約を有する確率的回路を用いて、計算可能な推論を可能とする。
• 生成モデルと判別モデルの両方に共通のvtree構造を採用することで、モデル間の計算を整合性を持って整列させる。
• 生成分布に関して、判別回帰器のk次のモーメントを多項式時間で計算するアルゴリズムを導出する。
• モーメントに基づく推定を用いて、分類タスクにおける期待予測の近似にモーメント計算を適用する。
• 同じvtreeノードに対応する2つの回路内のペアノードを処理することで、二次時間計算量を達成する。
• モーメントの計算可能性を活用して、部分的観測（例：欠損特徴）下での条件付き期待値クエリを実行する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、判別モデルの正確な期待値およびモーメントを多項式時間で計算可能とすることができるか？
• RQ2 表現力のある確率的回路のペアは、回帰における高次モーメントの計算を計算可能にできるか？
• RQ3 正確な計算が非効率な分類シナリオにおいて、期待予測の近似が可能か？
• RQ4 本フレームワークは、欠損データ処理において標準的手法に比べて優れているか？
• RQ5 本フレームワークは、予測モデリングにおけるサブグループ分析および公平性評価をサポートできるか？

主な発見

• 共有vtree構造を有する確率的回路を用いることで、回帰タスクにおいて任意の高次モーメントおよび期待値の正確な計算が多項式時間で可能となる。
• 分類タスクでは、非分解的かつ非線形関数のため正確な計算は非効率であるが、モーメント計算を活用した効率的な近似手法が開発された。
• 複数のデータセットにおいて、本手法は標準的手法を常に上回り、特に欠損率が高い場合（例：30％欠損）において、計算コストの高さによりベースライン手法が失敗する状況でも優れた性能を示した。
• 本フレームワークは、複雑な条件付け（例：複数の特徴）下でも、正確な期待予測の推定が可能であり、データがスパースまたは欠損している場合でも、例えば特定地域の女性喫煙者といったサブグループのクエリを実行することで実証された。
• 本手法は、公平性および説明可能性分析を強力に可能とし、例えば喫煙者と非喫煙者、地域間の保険料の期待値の差を、平均値および分散の両面から定量的に評価することで、顕著な格差を明らかにした。
• 直接的な経験的推定が失敗するようなサブグループ（4～3件の一致サンプルのみ）に対しても、本手法は期待値の推定において高い正確性を達成した。