[論文レビュー] Mind the Nuisance: Gaussian Process Classification using Privileged Noise

Daniel Hernández-Lobato, Viktoriia Sharmanska+3 more|arXiv (Cornell University)|Jul 1, 2014

Gaussian Processes and Bayesian Inference参考文献 30被引用数 19

ひとこと要約

本稿では、特権情報（訓練時のみ利用可能）を潜在関数内のデータ依存ノイズとして扱う、GPC+と呼ばれる新しいガウス過程分類器を提案する。これにより、シグモイド尤度関数の勾配を調整し、学習例に対する信頼度を反映できる。実験では、公開データセット上での標準GPCおよびSVM+を上回る性能を示し、深層特徴量や意味的属性を特権入力として用いる場合でも、解釈可能な不確実性モデリングを伴いながら最先端の精度を達成した。

ABSTRACT

The learning with privileged information setting has recently attracted a lot of attention within the machine learning community, as it allows the integration of additional knowledge into the training process of a classifier, even when this comes in the form of a data modality that is not available at test time. Here, we show that privileged information can naturally be treated as noise in the latent function of a Gaussian Process classifier (GPC). That is, in contrast to the standard GPC setting, the latent function is not just a nuisance but a feature: it becomes a natural measure of confidence about the training data by modulating the slope of the GPC sigmoid likelihood function. Extensive experiments on public datasets show that the proposed GPC method using privileged noise, called GPC+, improves over a standard GPC without privileged knowledge, and also over the current state-of-the-art SVM-based method, SVM+. Moreover, we show that advanced neural networks and deep learning methods can be compressed as privileged information.

研究の動機と目的

• 訓練時のみ利用可能な特権情報（privileged information）を、原理的かつ解釈可能な方法でガウス過程分類に統合すること。
• 潜在関数におけるデータ依存ノイズの調整により、分類器の信頼度をモデル化し、一般化性能を向上させること。
• 従来未解決であった、GPCにおけるヘテロスケダスティックノイズ（異分散性）の拡張を、ベイジアン分類に適用すること。
• 現代的な深層ニューラルネットワーク特徴量（例：DeCAF）および意味的属性が、効果的な特権情報として機能することを示すこと。
• 本新規なヘテロスケダスティックGPCフレームワークにおける近似事後分布計算のための変分推論法を開発すること。

提案手法

• 特権情報は、ガウス過程分類器の潜在関数内でのノイズ項としてモデル化され、シグモイド尤度関数の勾配を調整する。
• トレーニング中にノイズ項を統合し、テスト時には特権データを必要としない。
• 計算不能な周辺尤度および予測分布を近似するために、期待値伝搬（expectation propagation）に基づく変分推論手法を用いる。
• 各学習例に対してデータ依存のノイズレベルを学習し、高いノイズは低信頼度、低いノイズは高信頼度を示す。
• 標準的および深層特徴量（例：DeCAF）を特権入力として適用し、次元削減のための主成分分析（PCA）および標準化を実施。
• 得られたGPC+モデルは、シグモイド関数の勾配を、学習例の信頼性の指標として解釈可能に扱える。勾配が急であるほど、ラベルに対する信頼度が高いことを示す。

実験結果

リサーチクエスチョン

• RQ1 特権情報がガウス過程分類器においてノイズとして効果的にモデル化可能か？
• RQ2 特権データをノイズとしてモデル化することで、分類器の解釈可能性および信頼度推定にどのような影響を与えるか？
• RQ3 提案されたGPC+手法が、ベンチマークデータセット上での分類精度において、標準GPCおよびSVM+を上回るか？
• RQ4 深層ニューラルネットワーク特徴量（例：DeCAF）および意味的属性が、ベイジアン分類フレームワーク内での効果的な特権情報として機能するか？
• RQ5 提案されたヘテロスケダスティックGPC分類のための変分推論法は、有効かつスケーラブルか？

主な発見

• DeCAF特徴量（4096次元）を特権情報として用いたAwAデータセットにおいて、GPC+は標準GPCおよびSVM+を顕著に上回り、優位性の統計的証拠（p < 10%）を示した。
• 意味的属性（85次元）を特権情報として用いたAwAデータセットでは、4つの手法の中でGPC+が平均順位で最高を記録したが、GPCとの性能差は統計的に有意ではなかった。
• 本手法は、深層特徴量（4096次元のDeCAF）および意味的属性（85次元）を特権入力として効果的に活用でき、異なるデータモダリティへの柔軟性を示した。
• GPC+におけるシグモイド尤度関数の勾配は、解釈可能な信頼度指標として機能する。勾配が急であるほど、分類が容易で信頼度の高い例を示す。
• 実験により、GPC+は特権情報を通じて容易に分類可能な学習例に高い重みを割り当てることで、一般化性能を向上させた。
• 本手法は、ガウス過程分類におけるヘテロスケダスティックノイズモデリングを初めて適用した。これにより、ベイジアンフレームワーク内でデータ依存の不確実性評価が可能になった。