[논문 리뷰] Interpretable Discovery in Large Image Data Sets

Kiri L. Wagstaff, Jake Lee|arXiv (Cornell University)|2018. 06. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 9

한 줄 요약

이 논문은 대규모 이미지 데이터셋에서 해석 가능한 비정상 탐지 방법을 제안한다. CNN 특징과 DEMUD 알고리즘을 결합하여 이질적이거나 새로운 이미지를 식별하고, 그 이유를 시각적으로 설명한다. 잔차 기반 설명을 SVD 모델링과 업컨볼루션 네트워크를 통해 인간이 이해할 수 있는 시각적 시각화로 변환하며, 특히 어려운 불균형 데이터셋(예: 화성 탐사차 이미지)에서도 높은 탐지 성능를 달성하면서도 정확도를 희생시키지 않고 해석 가능성을 유지한다.

ABSTRACT

Automated detection of new, interesting, unusual, or anomalous images within large data sets has great value for applications from surveillance (e.g., airport security) to science (observations that don't fit a given theory can lead to new discoveries). Many image data analysis systems are turning to convolutional neural networks (CNNs) to represent image content due to their success in achieving high classification accuracy rates. However, CNN representations are notoriously difficult for humans to interpret. We describe a new strategy that combines novelty detection with CNN image features to achieve rapid discovery with interpretable explanations of novel image content. We applied this technique to familiar images from ImageNet as well as to a scientific image collection from planetary science.

연구 동기 및 목표

• 수작업 검토가 불가능한 대규모 데이터셋에서 이질적이거나 비정상적인 이미지를 식별하는 데 도전하는 것.
• 어떤 이미지가 새로운 것으로 간주되는지에 대해 인간이 이해할 수 있는 시각적 설명을 제공하여 단순 탐지 이상의 기능을 제공하는 것.
• 오랜 기간 동안 탐지하지 못할 경우 높은 비용을 초래할 수 있는 시간 민감도가 높은 애플리케이션(예: 행성 탐사)에서 신속한 탐지 가능성을 제공하는 것.
• 비지도 비정상 탐지에서 해석 가능성과 높은 탐지 성능가 동시에 달성될 수 있음을 입증하는 것.
• 이 방법이 레이블이 부여된 데이터셋 내에서 잘못 레이블링된 예제나 적대적 입력을 탐지하는 데 유용한지 탐색하는 것.

제안 방법

• 입력 이미지로부터 고수준의 추상적 이미지 표현을 추출하기 위해 사전 훈련된 컨volutional 신경망(CNN)을 사용한다.
• 기존 데이터 분포를 모델링하고 비정상도 측도로 재구성 오차를 계산하기 위해 증분 SVD 기반의 DEMUD 알고리즘을 적용한다.
• 원본 이미지와 SVD 재구성 버전 간의 차이로 이루어진 잔차 벡터로서 원시 설명을 생성하여 모델링되지 않은 내용을 강조한다.
• 잔차 벡터를 인간이 이해할 수 있는 시각적 색채지도로 변환하기 위해 업컨볼루션 네트워크를 활용한다. 이는 새로운 이미지 성분을 강조한다.
• 비정상도를 정량화하기 위해 재구성 오차 R(x) = ||x − (U U^T (x − μ) + μ)||₂ 를 사용한다. 여기서 U는 상위 K개 고유벡터를 포함하고, μ는 선택된 데이터의 평균이다.
• 특성 품질을 향상시키기 위해 원시 픽셀이나 SIFT 기술자보다 CNN 특징을 통합하여, 특히 시각적으로 유사하거나 도메인 이동이 발생한 데이터에서 유리하다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에서 새로운 이미지 탐지에 대해 인간이 이해할 수 있는 의미 있는 시각적 설명을 생성할 수 있는가?
• RQ2 기존의 픽셀이나 SIFT와 같은 전통적 표현 방식에 비해 CNN 기반 특징을 사용하면 비정상 탐지 성능이 향상되는가?
• RQ3 이 방법은 진정한 비정상 예제 외에도, 레이블이 부여된 데이터셋 내에서 잘못 레이블링된 예제나 적대적 입력도 탐지할 수 있는가?
• RQ4 화성 탐사차 이미지처럼 매우 유사하고 불균형적인 이미지 컬렉션을 가진 실제 고위험 영역(예: 행성 탐사)에서 이 방법의 효과는 어떠한가?
• RQ5 로버 미션 계획과 같은 시간 제약이 있는 환경에서 이 방법이 전략적 의사결정 지원에 얼마나 기여할 수 있는가?

주요 결과

• CNN 특징를 사용할 경우 ImageNet 유사 데이터셋에서 거의 완벽한 비정상 탐지 성능를 달성했으며, 픽셀 기반 및 SIFT 기반 표현보다 뚜렷이 뛰어난 성능를 보였다.
• 화성 탐사차 데이터셋에서 CNN 기반 DEMUD는 픽셀 또는 SIFT 특징보다 훨씬 높은 탐지 성능를 보였으며, 이는 데이터셋의 시각적 유사성과 클래스 불균형 때문이었다.
• 시각적 설명은 일반적인 특징(예: 노란색)을 생략하고 편차를 강조함으로써, 꽃의 어두운 중심이나 탐사차 센서에 쌓인 먼지와 같은 의미 있는 이질적 내용을 성공적으로 강조했다.
• 이 시스템은 시간 스탬프가 없는 환경에서도 동일한 물체(청결한 상태와 먼지로 덮인 REMS-UV 센서)의 극단적인 예를 비정상으로 자연스럽게 식별하여, 시간 경과에 따른 변화를 탐지할 수 있음을 입증했다.
• 잘못 레이블링된 사자 이미지(표기상 사자개)가 비정상으로 탐지되어, 레이블링 오류나 잠재적 적대적 예제를 식별하는 데의 유용성을 확인했다.
• CNN 특징의 사용은 대상 데이터 분포(예: 화성 지형)가 ImageNet과 다를 경우에도 강력한 탐지 성능를 유지할 수 있도록 했으며, 특히 대상 도메인 데이터에 대한 미세조정을 통해 성능 향상이 가능할 수 있다.