[논문 리뷰] ODIN: Automated Drift Detection and Recovery in Video Analytics

Abhijit Suprem, Joy Arulraj외 2명|arXiv (Cornell University)|2020. 09. 09.

Anomaly Detection Techniques and Applications참고 문헌 39인용 수 11

한 줄 요약

ODIN은 적대적 autoencoder와 새로운 GAN 기반 거리 측도를 사용하여 비디오 스트림에서 개념 이탈을 자동으로 탐지하고 복구하는 시각적 데이터 분석 시스템이다. BDD 데이터셋의 고해상도 디시션 카메라 비디오에서 기준 시스템 대비 6배 높은 처리량, 2배 높은 정확도, 6배 작은 메모리 사용량을 달성한다.

ABSTRACT

Recent advances in computer vision have led to a resurgence of interest in visual data analytics. Researchers are developing systems for effectively and efficiently analyzing visual data at scale. A significant challenge that these systems encounter lies in the drift in real-world visual data. For instance, a model for self-driving vehicles that is not trained on images containing snow does not work well when it encounters them in practice. This drift phenomenon limits the accuracy of models employed for visual data analytics. In this paper, we present a visual data analytics system, called ODIN, that automatically detects and recovers from drift. ODIN uses adversarial autoencoders to learn the distribution of high-dimensional images. We present an unsupervised algorithm for detecting drift by comparing the distributions of the given data against that of previously seen data. When ODIN detects drift, it invokes a drift recovery algorithm to deploy specialized models tailored towards the novel data points. These specialized models outperform their non-specialized counterpart on accuracy, performance, and memory footprint. Lastly, we present a model selection algorithm for picking an ensemble of best-fit specialized models to process a given input. We evaluate the efficacy and efficiency of ODIN on high-resolution dashboard camera videos captured under diverse environments from the Berkeley DeepDrive dataset. We demonstrate that ODIN's models deliver 6x higher throughput, 2x higher accuracy, and 6x smaller memory footprint compared to a baseline system without automated drift detection and recovery.

연구 동기 및 목표

• 환경 변화(기상, 조도 등)로 인해 데이터 분포가 시간이 지남에 따라 변화하는 실제 시각적 데이터 분석 환경에서 개념 이탈 문제를 해결한다.
• 고정된 데이터 분포를 가정하는 정적 기계학습 모델의 한계를 극복하여, 새로운 시각적 조건을 만났을 때 성능이 떨어지는 문제를 해결한다.
• 수동 조작이나 새로운 데이터 포인트에 대한 레이블이 필요 없이 이탈 탐지 및 복구를 자동화한다.
• 탐지된 이탈 클러스터에 맞게 특화된 모델을 동적으로 선택하고 배포함으로써 정확도, 성능, 메모리 효율성을 향상시키는 시스템을 설계한다.

제안 방법

• 입력 영상 프레임의 고차원 분포를 학습하기 위해 적대적 autoencoder(AAEs)를 사용하여 강건한 표현 학습을 가능하게 한다.
• 신규 데이터와 이전에 본 데이터 간의 분포 차이를 측정하기 위해 생성적 적대적 네트워크 기반의 새로운 거리 측도인 DA-GAN을 도입한다.
• DA-GAN 측도를 사용해 입력 분포를 비교함으로써 잠재 공간 내 밀도가 높은 영역인 ∆-밴드를 기반으로 이방성(Outlier)을 식별하여 이탈을 탐지한다.
• 이탈 탐지 시, 새로운 데이터 클러스터(예: 눈 오는 조건, 야간 조건 등)에서부터 다시 시작하여 경량의 전문화된 모델을 훈련하기 위해 SPECIALIZER를 활성화한다.
• 입력에 따라 정확도와 효율성을 최적화하기 위해 ∆-DM 정책에 기반한 선택 전략을 사용하여 전문화된 모델의 앙상블을 동적으로 선택하는 SELECTOR 모듈을 활용한다.
• 오라클 레이블이 가용해지기 전에 YOLO-LITE 추론을 통한 약한 지도 학습을 활용하여 모델 훈련을 부트스트랩함으로써 전문화된 모델의 배포를 가속화한다.

실험 결과

연구 질문

• RQ1 기존의 이상치 탐지 기법에 비해 비지도, 분포 기반 방법이 고차원 시각적 데이터에서 개념 이탈을 더 효과적으로 탐지할 수 있는가?
• RQ2 전통적인 방법(예: 재구성 오차, kNN 밀도)에 비해 GAN 기반 거리 측도는 이미지의 분포 이탈을 탐지하는 데 어떻게 비교되는가?
• RQ3 탐지된 이탈 클러스터에서부터 다시 시작하여 훈련한 전문화된 모델이 단일 일반 목적 모델에 비해 정확도, 속도, 메모리 효율성에서 얼마나 향상되는가?
• RQ4 여러 전문화된 모델이 존재할 경우, 어떤 모델 선택 전략이 최적의 성능을 달성하는가?

주요 결과

• ODIN은 고해상도 디시션 카메라 비디오에서 이탈 탐지 및 복구가 없는 기준 시스템 대비 6배 높은 처리량을 달성한다.
• 이탈이 발생한 데이터에서 정확도가 2배 향상되어 분포 이탈에 대한 강건성이 향상됨을 입증한다.
• 전문화된 모델은 일반 목적 모델 대비 메모리 사용량을 6배 줄여 자원 제약이 있는 시스템에서도 효율적인 배포를 가능하게 한다.
• DA-GAN 거리 측도는 고차원 시각적 데이터에서 최신 이상치 탐지 알고리즘보다 뛰어난 성능을 보이며, 눈, 저조도 조건과 같은 새로운 시각적 개념을 탐지하는 데 특히 유리하다.
• 신규 클러스터에서부터 다시 시작하여 훈련한 전문화된 모델은 정밀도 향상과 내성 강화 측면에서 정밀도 감소나 압축 기반 전문화보다 뛰어나다.
• ∆-DM 모델 선택 정책은 각 입력에 적합한 최적의 전문화된 모델 앙상블을 선택함으로써 정확도와 성능 간의 균형을 효과적으로 유지한다.