[論文レビュー] Gaussian Conditional Random Fields for Classification

Andrija Petrović, Mladen Nikolić+2 more|arXiv (Cornell University)|Jan 31, 2019

Gaussian Processes and Bayesian Inference被引用数 2

ひとこと要約

本稿では、連続的な潜在変数を用いて離散出力間の依存関係をモデル化することで、計算が tractable な構造的分類モデルである、二値分類のためのガウス条件付きランダムフィールド（GCRFBC）を提案する。潜在GCRF構造を活用することで、非構造的モデルに比べて予測性能が向上し、2つの変種—GCRFBCb（変分近似を用いた経験的ベイズ）およびGCRFBCnb（MAP推定）—は、出力分散が大きい場合に特に優れたAUCおよび対数尤度を示す。

ABSTRACT

Gaussian conditional random fields (GCRF) are a well-known used structured model for continuous outputs that uses multiple unstructured predictors to form its features and at the same time exploits dependence structure among outputs, which is provided by a similarity measure. In this paper, a Gaussian conditional random fields model for structured binary classification (GCRFBC) is proposed. The model is applicable to classification problems with undirected graphs, intractable for standard classification CRFs. The model representation of GCRFBC is extended by latent variables which yield some appealing properties. Thanks to the GCRF latent structure, the model becomes tractable, efficient and open to improvements previously applied to GCRF regression models. In addition, the model allows for reduction of noise, that might appear if structures were defined directly between discrete outputs. Additionally, two different forms of the algorithm are presented: GCRFBCb (GCRGBC - Bayesian) and GCRFBCnb (GCRFBC - non Bayesian). The extended method of local variational approximation of sigmoid function is used for solving empirical Bayes in Bayesian GCRFBCb variant, whereas MAP value of latent variables is the basis for learning and inference in the GCRFBCnb variant. The inference in GCRFBCb is solved by Newton-Cotes formulas for one-dimensional integration. Both models are evaluated on synthetic data and real-world data. It was shown that both models achieve better prediction performance than unstructured predictors. Furthermore, computational and memory complexity is evaluated. Advantages and disadvantages of the proposed GCRFBCb and GCRFBCnb are discussed in detail.

研究の動機と目的

• 非有向グラフを用いた構造的二値分類における標準的CRFの計算困難性に対処すること。
• 出力の依存関係を符号化する連続的な潜在変数を導入することで、構造的分類における効率的かつ正確な推論を可能にすること。
• GCRF回帰の技術を二値分類に拡張し、ロバストネスと性能を向上させること。
• 潜在変数における経験的ベイズとMAP推定の2つの推論戦略を比較し、構造的予測に応用すること。

提案手法

• 離散的出力が連続的な潜在変数（GCRFに従う）を条件として独立である、構造的モデルGCRFBCを提案する。
• 出力間の依存関係を直接モデル化するのではなく、潜在GCRF構造を介して間接的に表現することで、離散的出力相関の直接モデリングを回避する。
• GCRFBCbにおける経験的ベイズ最適化を効率的に行うために、シグモイド関数の局所的変分近似を採用する。
• GCRFBCbにおける1次元積分を計算するため、ニュートン・コーツ積分を用いる。
• GCRFBCnbにおける学習と推論に、潜在変数のMAP推定を適用し、計算を簡略化する。
• 潜在空間を多変量ガウス分布としてモデル化することで、既存のGCRF回帰技術を分類に拡張する。

実験結果

リサーチクエスチョン

• RQ1 潜在GCRF構造は、計算困難な構造的二値分類問題を計算可能かつ効率的なものにできるか？
• RQ2 潜在変数の経験的ベイズとMAP推定の両者を比較した場合、予測性能と計算コストの面でどのように異なるか？
• RQ3 直接的な離散的出力依存関係のモデリングと比較して、潜在GCRFモデルはノイズをどの程度低減できるか？
• RQ4 潜在変数の分散が、GCRFBCbとGCRFBCnbの性能差にどのように影響を与えるか？
• RQ5 提案されたモデルは、構造的二値分類において非構造的予測子を上回ることができるか？

主な発見

• 潜在変数の分散ノルムが大きい場合、GCRFBCbはGCRFBCnbよりも顕著に優れたAUCと条件付き対数尤度の下界を達成する。
• 潜在変数の分散が小さい場合、両モデルの性能は同等であり、低分散領域ではMAP近似が十分であることが示された。
• GCRFBCbは、変分パラメータがインスタンス数に比例するため、計算およびメモリの複雑性が高く、O(TMN³)にまで増加する。
• GCRFBCnbは、標準GCRFと同様にO(TN³)の複雑性を維持しており、大規模または多数のインスタンスが存在する状況でより効率的である。
• 合成データのすべての設定において、両モデルはAUCおよび対数尤度の面で非構造的予測子を一貫して上回った。
• 潜在変数の分散が小さい場合にはGCRFBCnbが、分散が大きい場合にはGCRFBCbが、精度と複雑性のトレードオフにおいて優位である。