[論文レビュー] Out-of-Distribution Detection in Multi-Label Datasets using Latent Space of $\beta$-VAE

Vijaya Kumar Sundar, Shreyas Ramakrishna+3 more|arXiv (Cornell University)|Mar 10, 2020

Anomaly Detection Techniques and Applications参考文献 13被引用数 4

ひとこと要約

本論文は、β-VAEの分離された潜在空間を用いて、マルチラベル自動運転データセットにおける分布外（OOD）検出のための新規手法を提案する。特定の生成要因（例：時刻、交通量、歩行者）に基づくデータパーティションに別々にβ-VAEを訓練し、それらの要因に感受性を示す潜在変数を選択することで、学習済みのしきい値からのKLダイバージェンスを用いて、分布シフトを高精度に検出する。nuScenesデータセットにおいて、歩行者および交通量パーティションで最大100%のOOD検出を達成した。

ABSTRACT

Learning Enabled Components (LECs) are widely being used in a variety of perception based autonomy tasks like image segmentation, object detection, end-to-end driving, etc. These components are trained with large image datasets with multimodal factors like weather conditions, time-of-day, traffic-density, etc. The LECs learn from these factors during training, and while testing if there is variation in any of these factors, the components get confused resulting in low confidence predictions. The images with factors not seen during training is commonly referred to as Out-of-Distribution (OOD). For safe autonomy it is important to identify the OOD images, so that a suitable mitigation strategy can be performed. Classical one-class classifiers like SVM and SVDD are used to perform OOD detection. However, the multiple labels attached to the images in these datasets, restricts the direct application of these techniques. We address this problem using the latent space of the $\beta$-Variational Autoencoder ($\beta$-VAE). We use the fact that compact latent space generated by an appropriately selected $\beta$-VAE will encode the information about these factors in a few latent variables, and that can be used for computationally inexpensive detection. We evaluate our approach on the nuScenes dataset, and our results shows the latent space of $\beta$-VAE is sensitive to encode changes in the values of the generative factor.

研究の動機と目的

• 従来のワンクラスOOD検出手法がラベルの重複により失敗する、ラベルが重複するマルチラベル自動運転データセットにおける分布外（OOD）画像の検出という課題に対処すること。
• 天候、時刻、交通密度など複雑で重複する要因を含む、実世界のマルチモーダルデータセット（例：nuScenes）において、信頼性の高いOOD検出を可能にすること。
• β-VAEから得られる分離表現を活用し、特定の生成要因における分布シフトを検出できる、スケーラブルで計算的に効率的な手法を開発すること。

提案手法

• 生成要因（例：昼/夜、高/低交通量）ごとにマルチラベルデータセット（例：nuScenes）をパーティションに分割し、変動要因を分離する。
• 各パーティションに対して別々にβ-VAEを訓練し、特定の潜在変数がターゲット生成要因の変化を符号化するように、分離され、コンactな潜在表現を学習する。
• 再構成誤差および分離度指標を用いて、各要因ごとに最も情報量の多い潜在変数を選択し、ターゲット要因の変動に感受性があることを保証する。
• 誤検出を最小限に抑えるために、訓練サンプルのKLダイバージェンス値の75%分位数をしきい値τとして設定する。
• 推論時、テスト画像の潜在分布と訓練分布とのKLダイバージェンスを計算し、τを超える場合、OODとしてフラグを立てる。
• 3段階のパイプラインを採用する：(1) データセットのパーティショニングとハイパーパramータチューニング、(2) β-VAEの訓練と潜在変数の選択、(3) しきい値付きKLダイバージェンスを用いたリアルタイムOOD検出。

実験結果

リサーチクエスチョン

• RQ1 β-VAEの潜在空間は、マルチラベルデータセットにおける特定の生成要因（例：時刻、交通量、歩行者）の分布シフトを信頼性高く検出できるか？
• RQ2 ラベルが排他的でないマルチラベルデータセットにおいて、ワンクラスOOD検出はどのように適合可能か？
• RQ3 実世界の自動運転データに対してOOD検出に最適な分離度を達成するためのβ-VAEのハイパーパramータ設定（βおよび潜在次元数）は何か？
• RQ4 学習済み潜在空間におけるKLダイバージェンスは、異なる生成要因においてOODサンプル検出の有効な指標となるか？
• RQ5 多様なシーンの複雑さにかかわらず、1つのしきい値τを用いて誤検出を過剰に発生させずに効果的にOOD検出が可能か？

主な発見

• 時刻要因に関しては、β=1.8およびnLatent=30のβ-VAE検出器が、テストセットで99%のインディストリビューション検出と95%のOOD検出を達成した。
• 交通量要因に関しては、β=1.6およびnLatent=30の検出器が、90%のインディストリビューション検出と74%のOOD検出を達成し、微細な変化に対しては中程度の性能を示した。
• 歩行者要因に関しては、100%のインディストリビューション検出と100%のOOD検出を達成し、この要因の有無に対する高い感受性を示した。
• 75%分位数しきい値（τ75）は、すべてのパーティションで誤検出を最小限に抑えつつ高い検出率を維持する最適な設定であった。
• 背景が複雑なシーンでは、背景特徴がすべての潜在変数に分散して符号化されるため、要因特有の分離が困難となり、性能が低下した。
• 生成要因が明確に区別できる場合（例：昼/夜）、本手法はシーンの複雑さに対して頑健であるが、交通量のような微細で文脈依存の要因に対しては困難を示した。