[논문 리뷰] Metamorphic Testing for Object Detection Systems

Shuai Wang, Zhendong Su|arXiv (Cornell University)|2019. 12. 19.

Advanced Neural Network Applications참고 문헌 78인용 수 17

한 줄 요약

이 논문은 객체 검출 시스템을 위한 메타적 테스팅 프레임워크인 MetaOD를 소개한다. 이 프레임워크는 배경에 객체를 삽입하여 자연스러운 합성 이미지를 생성하고, 원본 이미지와 수정된 이미지 간의 검출 결과 일관성을 검증한다. 이 방법은 상용 검출기에서 수만 건의 결함을 발견했으며, 실패 유발 합성 데이터로 재학습을 통해 mAP를 9.3에서 10.5로 향상시켰다.

ABSTRACT

Recent advances in deep neural networks (DNNs) have led to object detectors that can rapidly process pictures or videos, and recognize the objects that they contain. Despite the promising progress by industrial manufacturers such as Amazon and Google in commercializing deep learning-based object detection as a standard computer vision service, object detection systems - similar to traditional software - may still produce incorrect results. These errors, in turn, can lead to severe negative outcomes for the users of these object detection systems. For instance, an autonomous driving system that fails to detect pedestrians can cause accidents or even fatalities. However, principled, systematic methods for testing object detection systems do not yet exist, despite their importance. To fill this critical gap, we introduce the design and realization of MetaOD, the first metamorphic testing system for object detectors to effectively reveal erroneous detection results by commercial object detectors. To this end, we (1) synthesize natural-looking images by inserting extra object instances into background images, and (2) design metamorphic conditions asserting the equivalence of object detection results between the original and synthetic images after excluding the prediction results on the inserted objects. MetaOD is designed as a streamlined workflow that performs object extraction, selection, and insertion. Evaluated on four commercial object detection services and four pretrained models provided by the TensorFlow API, MetaOD found tens of thousands of detection defects in these object detectors. To further demonstrate the practical usage of MetaOD, we use the synthetic images that cause erroneous detection results to retrain the model. Our results show that the model performance is increased significantly, from an mAP score of 9.3 to an mAP score of 10.5.

연구 동기 및 목표

• 딥 러닝 기반 객체 검출 시스템에 대한 체계적인 테스팅 방법의 부족으로 자율 주행과 같은 응용 분야에서 심각한 안전 위험이 발생할 수 있다는 문제를 해결하기 위해.
• 모델 내부 정보에 접근할 필요 없이 오류 발생 검출 결과를 드러내는 실용적이고 블랙박스 테스팅 접근법을 개발하기 위해.
• 전역적이고 국소적인 현실감을 유지하는 다양한 자연스러운 합성 이미지를 생성하여 엣지 케이스 예측 실패를 효과적으로 유도하기 위해.
• 결함을 드러내는 합성 이미지를 사용해 모델을 재학습시켜 그 강건성과 정확도를 향상시킬 수 있음을 입증하기 위해.
• 메타적 테스팅 원칙을 활용해 상용 및 미리 훈련된 객체 검출기용 새로운 재사용 가능한 테스팅 파이프라인을 구축하기 위해.

제안 방법

• 개체 세분화를 사용해 고품질의 객체 샘플을 추출하고 배경 이미지에 객체 인스턴스를 삽입하여 자연스러운 합성 이미지를 생성한다.
• 시각적 및 맥락적 호환성 기반으로 경량의 도메인 인식 기준을 적용해 객체를 선택하고 정제한다.
• 이미지의 현실감을 유지하면서도 검출 오류 발생 가능성을 극대화하는 삽입 위치를 식별하기 위해 델타 디버깅 유사 히우리스틱을 활용한다.
• 원본 객체에 대한 검출 결과가 원본 이미지와 합성 이미지 간에 일관성을 유지해야 한다는 메타적 조건을 정의하며, 삽입된 객체에 대한 예측는 제외한다.
• 객체 추출, 정제/선택, 맥락 인식 삽입의 세 단계 워크플로우를 자동화하여 다양한 테스트 입력을 생성한다.
• 검출 결과의 일관성 없는 부분을 실패 오라클로 활용해 상용 및 오픈소스 객체 검출기의 결함 행동을 식별한다.

실험 결과

연구 질문

• RQ1 테스트 오라클이 제공되지 않는 상용 객체 검출 시스템에서 메타적 테스팅을 효과적으로 적용해 결함을 탐지할 수 있는가?
• RQ2 어떻게 하면 삽입된 객체의 국소적 현실감과 전체 장면의 일관성을 유지하면서 의미 있는 오류를 유도할 수 있는 합성 이미지를 생성할 수 있는가?
• RQ3 결함을 드러내는 합성 이미지를 사용해 재학습을 통해 모델의 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 객체 선택 및 삽입 시 어떤 요소들이 객체 검출기의 엣지 케이스 실패 탐지를 극대화하는가?
• RQ5 기존 딥 러닝 시스템 테스팅 기법에 비해 제안된 방법은 결함 탐지 능력에서 어떻게 비교되는가?

주요 결과

• MetaOD는 네 곳의 상용 객체 검출 서비스(아마존, 구글, IBM, 마이크로소프트)와 네 개의 텐서플로우 API 모델에서 수천 건의 잘못된 검출 결과를 탐지했다.
• 프레임워크는 실제 시스템에서 결함을 성공적으로 식별했으며, 저대비 또는 가림 상태와 같은 도전적인 시각 조건에서 객체를 탐지하지 못하는 실패 사례를 포함했다.
• 실패 유발 합성 이미지를 사용해 모델을 재학습시켜 평균 정밀도(mAP)를 9.3에서 10.5로 향상시켜, 실패 인식 재학습의 효과성을 입증했다.
• MetaOD가 생성한 합성 이미지는 높은 수준의 현실감을 유지하여 표준 데이터 증강 기법이 자주 간과하는 미세한 맥락 민감 오류를 탐지할 수 있었다.
• 메타적 테스팅 접근법은 모델 가중치나 내부 아키텍처에 대한 접근 없이도 블랙박스 환경에서도 효과적으로 작동했다.
• 경량이고 모듈화된 파이프라인 덕분에 도메인 특화 정밀 조정 없이도 상용 객체 검출 시스템의 확장성 있고 반복 가능한 테스팅이 가능했다.