[論文レビュー] Improving Reconstruction Autoencoder Out-of-distribution Detection with Mahalanobis Distance

Taylor Denouden, Rick Salay+4 more|arXiv (Cornell University)|Dec 6, 2018

Anomaly Detection Techniques and Applications参考文献 1被引用数 76

ひとこと要約

本論文は再構成オートエンコーダが特定のOODサンプルを見逃す可能性があることを示し、潜在空間のマハラノビス距離と再構成誤差を組み合わせたハイブリッドな新規度スコアを提案して、OOD検出を改善する。

ABSTRACT

There is an increasingly apparent need for validating the classifications made by deep learning systems in safety-critical applications like autonomous vehicle systems. A number of recent papers have proposed methods for detecting anomalous image data that appear different from known inlier data samples, including reconstruction-based autoencoders. Autoencoders optimize the compression of input data to a latent space of a dimensionality smaller than the original input and attempt to accurately reconstruct the input using that compressed representation. Since the latent vector is optimized to capture the salient features from the inlier class only, it is commonly assumed that images of objects from outside of the training class cannot effectively be compressed and reconstructed. Some thus consider reconstruction error as a kind of novelty measure. Here we suggest that reconstruction-based approaches fail to capture particular anomalies that lie far from known inlier samples in latent space but near the latent dimension manifold defined by the parameters of the model. We propose incorporating the Mahalanobis distance in latent space to better capture these out-of-distribution samples and our results show that this method often improves performance over the baseline approach.

研究の動機と目的

• 自動運転車などの安全 critical なシステムにおける信頼できるOOD検出の必要性を喚起する。
• 再構成誤差をOOD検出の唯一の新規度指標とした場合の限界を示す。
• 潜在空間のマハラノビス距離と再構成誤差を組み合わせたハイブリッドスコアリング手法を提案する。
• MNISTのインライアクラス全体で、ハイブリッド手法がOOD検出を改善するかを評価する。

提案手法

• 各モデルにつき1つのインライアクラスを用いてMNISTの数字に対して再構成オートエンコーダを訓練する。
• 潜在空間マハラノビス距離と再構成誤差の重み付き結合として新規度を計算する。
• 学習データからの潜在符号化の平均と共分散でマハラノビス距離をパラメータ化する。
• 検証セット上でαとβの混合パラメータを調整して2つの成分のバランスをとる。
• 複数のボトルネックサイズに渡ってベースラインの再構成誤差とハイブリッドスコアを比較する。
• 性能評価には標準のOOD指標（AUROC、AUPR、FPR at 95% TPR）を用いる。

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダはOODサンプルを低い誤差で再構成でき、再構成誤差のみのOOD検出を揺らがすことができるのか。
• RQ2 潜在空間のマハラノビス距離を組み込むとこのようなOODサンプルの検出に役立つか。
• RQ3 ボトルネックサイズがハイブリッドOODスコアの有効性に及ぼす影響は何か。
• RQ4 ハイブリッド手法は、再構成誤差のみと比べて一貫して一般的なOOD指標（AUROC、AUPR、FPR 95%TPR）を改善するか。

主な発見

• 潜在空間マハラノビス距離を再構成誤差と組み合わせると、再構成誤差のみの場合よりしばしばOOD検出性能が改善される。
• ハイブリッド手法の最も良いパフォーマンスを示すボトルネックサイズは、数字間でおおむね8から64の範囲。
• ハイブリッドスコアはベースラインと比較して、多くのインライアクラスでFPR 95% TPRを低く、AUROC/AUPRを高くする。
• αとβの正規化戦略は、いずれの特徴量も新規度スコアを支配しすぎないようにする。