[논문 리뷰] DenseHybrid: Hybrid Anomaly Detection for Dense Open-set Recognition

Matej Grcić, Petra Bevandić외 1명|arXiv (Cornell University)|2022. 07. 06.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

DenseHybrid는 밀도 높은 오픈세트 인식을 위한 새로운 하이브리드 이상 탐지 프레임워크를 제안한다. 이는 정규화 상수가 존재하지 않는 분포를 사용하여 불가항력적인 정규화 상수를 피하는 생성적 가능도 추정과 분류적 데이터 사후확률 예측을 결합한다. 내재된 분포 및 외부 분포 데이터를 동시에 학습함으로써, 표준 세그멘테이션 모델 대비 거의 무시할 만한 계산 오버헤드로 인해 밀도 높은 이상 탐지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Anomaly detection can be conceived either through generative modelling of regular training data or by discriminating with respect to negative training data. These two approaches exhibit different failure modes. Consequently, hybrid algorithms present an attractive research goal. Unfortunately, dense anomaly detection requires translational equivariance and very large input resolutions. These requirements disqualify all previous hybrid approaches to the best of our knowledge. We therefore design a novel hybrid algorithm based on reinterpreting discriminative logits as a logarithm of the unnormalized joint distribution $\hat{p}(\mathbf{x}, \mathbf{y})$. Our model builds on a shared convolutional representation from which we recover three dense predictions: i) the closed-set class posterior $P(\mathbf{y}|\mathbf{x})$, ii) the dataset posterior $P(d_{in}|\mathbf{x})$, iii) unnormalized data likelihood $\hat{p}(\mathbf{x})$. The latter two predictions are trained both on the standard training data and on a generic negative dataset. We blend these two predictions into a hybrid anomaly score which allows dense open-set recognition on large natural images. We carefully design a custom loss for the data likelihood in order to avoid backpropagation through the untractable normalizing constant $Z(θ)$. Experiments evaluate our contributions on standard dense anomaly detection benchmarks as well as in terms of open-mIoU - a novel metric for dense open-set performance. Our submissions achieve state-of-the-art performance despite neglectable computational overhead over the standard semantic segmentation baseline.

연구 동기 및 목표

• 순수하게 생성적 또는 분류적 접근 방식의 한계를 해결하기 위해, 이는 각각 고유한 실패 모드를 보이기 때문이다.
• 대규모 자연 이미지에서 픽셀 수준 해상도로 작동하는 하이브리드 모델의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 가능도 추정에서 계산이 불가능한 정규화 상수를 통한 역전파를 피할 수 있는 방법을 설계하기 위해.
• 내재된 분포에 대한 높은 정확도를 유지하면서 이상 픽셀을 탐지할 수 있는 오픈세트 인식을 통해 실세계 적용에서의 강건성을 향상시키기 위해.
• 밀도 높은 오픈세트 인식 시나리오에서 성능을 평가하기 위해 새로운 평가 지표인 open-mIoU를 도입하기 위해.

제안 방법

• 모델은 공유된 컨볼루션 기반을 사용하여 세 가지 밀도 높은 예측을 생성한다: 클래스 사후확률 P(y|x), 데이터 사후확률 P(d_in|x), 및 정규화되지 않은 데이터 가능도 p̂(x).
• 정규화되지 않은 가능도 p̂(x)는 분류 헤드에서 나온 로짓의 지수합으로 계산되며, 이는 계산이 불가능한 분할 함수 Z(θ)를 계산할 필요가 없게 한다.
• 데이터 사후확률 P(d_in|x)는 일반적인 부정 샘플 데이터셋(예: ADE20k)을 사용하여 내재된 분포와 외부 분포를 구분하도록 별도의 브랜치에서 학습한다.
• 하이브리드 이상 점수는 (1 - P(d_in|x)) / p̂(x)의 비율로 구성되며, 분류적 및 생성적 신호를 통합하여 탐지 성능을 향상시킨다.
• Z(θ)를 통한 기울기 계산이 필요 없도록 설계된 맞춤형 손실 함수를 사용하여, 안정적인 엔드 투 엔드 최적화를 가능하게 한다.
• 외부 분포 패atters로의 일반화를 향상시키기 위해, 붙인 부정 예시가 포함된 혼합 콘텐츠 이미지로 모델을 피지컬 튜닝한다.

실험 결과

연구 질문

• RQ1 생성적 가능도와 분류적 데이터 사후확률을 조합한 하이브리드 이상 탐지 프레임워크가 밀도 높은 오픈세트 인식 성능을 향상시킬 수 있는가?
• RQ2 계산이 불가능한 정규화 상수를 계산하지 않고도 정규화되지 않은 가능도 추정을 어떻게 효과적으로 밀도 높은 이상 탐지에 활용할 수 있는가?
• RQ3 분류적 및 생성적 신호를 통합하면 단독으로 사용할 경우보다 외부 분포 픽셀에 대한 일반화 성능이 향상되는가?
• RQ4 이러한 하이브리드 모델은 표준 세그멘테이션 모델 대비 거의 무시할 만한 계산 오버헤드로 엔드 투 엔드 학습이 가능한가?
• RQ5 제안된 open-mIoU 지표는 내재된 분포 세그멘테이션 정확도와 이상 탐지 성능 사이의 상충 관계를 어떻게 반영하는가?

주요 결과

• DenseHybrid는 표준 밀도 높은 이상 탐지 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Fishyscapes에서 AP 46.1%, StreetHazards에서 AP 45.8%를 기록해 이전 방법들을 능가했다.
• 하이브리드 이상 점수인 (1 - P(d_in|x)) / p̂(x)는 Fishyscapes에서 63.8%의 AP를 기록했으며, 생성적 방법(60.5%)과 분류적 방법(42.9%) 각각을 뛰어넘었다.
• 두 메가픽셀 이미지에서 모델은 추가로 0.1 GFLOPs와 2.8ms의 추론 시간만 소요되어 거의 무시할 만한 계산 오버헤드를 보였다.
• StreetHazards 데이터셋에서 DenseHybrid는 45.8%의 open-mIoU를 기록했으며, max-logit 기반 베이스라인 및 기타 최신 기술 수준 방법들을 크게 앞서갔다.
• 절단 분석 결과, 하이브리드 점수는 모든 지표에서 일관되게 성능 향상을 이끌었으며, Fishyscapes에서 FPR95는 4.9%로 감소해 강력한 이상 탐지 능력을 입증했다.
• 제안된 방법은 실시간 추론을 가능하게 하여, RTX3090에서 초당 15.7 프레임의 속도를 기록해 자율 주행 시스템과 같은 환경에 적합한 실용성을 확보했다.