[論文レビュー] ODIN: Automated Drift Detection and Recovery in Video Analytics

Abhijit Suprem, Joy Arulraj+2 more|arXiv (Cornell University)|Sep 9, 2020

Anomaly Detection Techniques and Applications参考文献 39被引用数 11

ひとこと要約

ODIN は、敵対的オートエンコーダーと新規の GAN ベース距離計測法を用いて、ビデオストリームにおける概念的ずれを自動で検出し回復する視覚的データ分析システムである。BDD データセットの高解像度ダッシュボードカメラ動画において、ベースラインシステムに比べて 6 倍のスループット、2 倍の精度、6 倍のメモリ使用量削減を達成した。

ABSTRACT

Recent advances in computer vision have led to a resurgence of interest in visual data analytics. Researchers are developing systems for effectively and efficiently analyzing visual data at scale. A significant challenge that these systems encounter lies in the drift in real-world visual data. For instance, a model for self-driving vehicles that is not trained on images containing snow does not work well when it encounters them in practice. This drift phenomenon limits the accuracy of models employed for visual data analytics. In this paper, we present a visual data analytics system, called ODIN, that automatically detects and recovers from drift. ODIN uses adversarial autoencoders to learn the distribution of high-dimensional images. We present an unsupervised algorithm for detecting drift by comparing the distributions of the given data against that of previously seen data. When ODIN detects drift, it invokes a drift recovery algorithm to deploy specialized models tailored towards the novel data points. These specialized models outperform their non-specialized counterpart on accuracy, performance, and memory footprint. Lastly, we present a model selection algorithm for picking an ensemble of best-fit specialized models to process a given input. We evaluate the efficacy and efficiency of ODIN on high-resolution dashboard camera videos captured under diverse environments from the Berkeley DeepDrive dataset. We demonstrate that ODIN's models deliver 6x higher throughput, 2x higher accuracy, and 6x smaller memory footprint compared to a baseline system without automated drift detection and recovery.

研究の動機と目的

• 環境要因（天候や照明）の変化に伴い、データ分布が時間とともに変化する現実世界の視覚的データ分析における概念的ずれの課題に対処すること。
• 固定されたデータ分布を仮定する従来の静的機械学習モデルの限界を克服し、新しい視覚的状態に直面した際に性能が低下することを防ぐこと。
• 新しいデータポイントのラベルなしに、手動の介入なしにずれの検出と回復を自動化すること。
• 検出されたずれクラスタに特化したモデルを動的に選択・デプロイするシステムを設計し、精度、パフォーマンス、メモリ効率を向上させること。

提案手法

• 入力動画フレームの高次元分布を学習するために敵対的オートエンコーダー（AAEs）を用い、頑健な表現学習を実現する。
• 生成的敵対的ネットワークに基づく新規な距離計測法である DA-GAN を導入し、新規データと過去に観測されたデータ間の分布的乖離を測定する。
• DA-GAN 距離計測法を用いて入力分布を比較し、潜在空間における高密度領域（∆-バンド）を特定することで、外れ値としてのずれを検出する。
• ずれ検出後、新規データクラスタ（例：雪景色や夜間の状態）に対して、再びから新しい軽量でタスク特化型のモデルを訓練する SPECIALIZER を起動する。
• 入力ごとに精度と効率を最適化するため、∆-DM ポリシーに従い、専用モデルのアンサンブルを動的に選択する SELECTOR モジュールを採用する。
• オリクルラベルが入手可能になる前段階で、YOLO-LITE の推論を弱い教師信号として活用し、モデル訓練をブートストラップし、専用モデルのデプロイを加速する。

実験結果

リサーチクエスチョン

• RQ1 従来の外れ値検出技術に比べ、未教師で分布ベースの手法が、高次元視覚データにおける概念的ずれをより効果的に検出できるか？
• RQ2 画像における分布シフトを検出する際、伝統的な手法（再構成誤差、kNN 密度など）と比較して、GAN ベース距離計測法はどのように性能を発揮するか？
• RQ3 検出されたずれクラスタに特化してから再訓練する専用モデルは、単一の汎用モデルと比較して、精度、速度、メモリ効率のどの程度向上を達成できるか？
• RQ4 複数の専用モデルが利用可能な場合、どのモデル選択戦略が最適なパフォーマンスを実現できるか？

主な発見

• ODIN は、高解像度ダッシュボードカメラ動画において、ずれ検出・回復機能のないベースラインシステムに比べ、6 倍のスループットを達成した。
• ずれが生じたデータに対して、2 倍の高い検出精度を示し、分布的シフトに対する耐性が向上していることを実証した。
• 専用モデルは、汎用モデルと比較してメモリ使用量を 6 倍削減し、リソース制限のあるシステムへの効率的デプロイを可能にした。
• DA-GAN 距離計測法は、高次元視覚データにおいて、最先端の外れ値検出アルゴリズムを上回り、雪や低照度状態といった新しい視覚的概念の検出において特に優れた性能を示した。
• 新規クラスタに特化してから再訓練するモデル特化法は、蒸留や圧縮ベースの特化法よりも高い精度と耐性を実現した。
• ∆-DM モデル選択ポリシーは、各入力に対して最適な専用モデルのアンサンブルを選択することで、精度とパフォーマンスのバランスを効果的に実現した。