[논문 리뷰] Testing Deep Learning Models for Image Analysis Using Object-Relevant Metamorphic Relations

Yongqiang Tian, Shiqing Ma외 4명|arXiv (Cornell University)|2019. 09. 06.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 5

한 줄 요약

이 논문은 영상 분석을 위한 딥러닝 모델이 추론 시 대상 객체와 관련된 특징에 의존하는지 평가하기 위해 변형 테스팅 기반 접근법을 제안한다. 객체 유지 및 객체 제거 변형이라는 두 가지 새로운 변형 관계를 도입함으로써, 객체 관련성 점수를 사용하여 추론 신뢰도를 정량화한다. 그 결과, 이미지 분류기의 상위 5개 예측 중 5.3% 이상, 객체 검출기의 경우 8.5% 이상이 관련 없는 특징에 기반함을 밝혀내었으며, 이는 더 효과적인 적대적 공격을 가능하게 한다.

ABSTRACT

Deep learning models are widely used for image analysis. While they offer high performance in terms of accuracy, people are concerned about if these models inappropriately make inferences using irrelevant features that are not encoded from the target object in a given image. To address the concern, we propose a metamorphic testing approach that assesses if a given inference is made based on irrelevant features. Specifically, we propose two novel metamorphic relations to detect such inappropriate inferences. We applied our approach to 10 image classification models and 10 object detection models, with three large datasets, i.e., ImageNet, COCO, and Pascal VOC. Over 5.3% of the top-5 correct predictions made by the image classification models are subject to inappropriate inferences using irrelevant features. The corresponding rate for the object detection models is over 8.5%. Based on the findings, we further designed a new image generation strategy that can effectively attack existing models. Comparing with a baseline approach, our strategy can double the success rate of attacks.

연구 동기 및 목표

• 딥러닝 모델이 목표 객체의 특징이 아닌 배경과 관련 없는 특징에 기반해 추론을 내릴 수 있다는 중요한 문제를 다루기 위해.
• 기본 진리 기반 오라클이 필요 없이 모델 추론의 객체 관련성을 평가할 수 있는 테스팅 프레임워크를 개발하기 위해.
• 이미지 분류 및 객체 검출 모델에서 모델 예측이 객체 관련 특징과 관련 없는 특징에 얼마나 의존하는지 정도를 정량화하기 위해.
• 모델의 취약점을 악용하여 적대적 공격의 성공률을 향상시키기 위한 새로운 이미지 생성 전략을 설계하기 위해.
• 영상 분석을 위한 딥러닝 모델의 추론 신뢰도를 평가하기 위한 새로운 측정 가능한 지표인 '객체 관련성 점수'를 제공하기 위해.

제안 방법

• 추론 일관성을 테스트하기 위해 두 가지 새로운 변형 관계인 MR-1(객체 유지 변형)과 MR-2(객체 제거 변형)를 제안한다.
• 기타 이미지 영역은 그대로 유지하면서 대상 객체를 유지하거나 제거하는 이미지 변형 연산을 적용한다.
• 유도된 변형된 이미지를 사용하여 모델의 예측이 변형 관계를 만족하는지 평가한다.
• 기존 예측과 변형된 예측 간 일관성 정도를 바탕으로 객체 관련성 점수를 계산한다.
• 객체 관련성 점수를 활용하여 적대적 공격 성공률을 높이는 새로운 이미지 생성 전략을 설계한다.
• 재학습이나 기본 진리 레이블이 필요 없이 모델 동작을 검증하기 위해 변형 테스팅을 활용한다.

실험 결과

연구 질문

• RQ1 영상 분석을 위한 사전 학습된 딥러닝 모델이 예측 시 얼마나 많은 비객체 관련 특징에 의존하는가?
• RQ2 변형 테스팅이 딥러닝 모델의 비관련 특징에 기반한 추론을 효과적으로 탐지하는 데 사용될 수 있는가?
• RQ3 모델 예측이 관련 특징에 얼마나 의존하는지를 정량화하기 위해 객체 관련성 점수를 어떻게 형식적으로 정의하고 계산할 수 있는가?
• RQ4 객체 관련성 점수를 사용하여 딥러닝 모델에 대한 적대적 공격의 효과를 향상시킬 수 있는가?
• RQ5 다양한 이미지 분류 및 객체 검출 모델에서 배경 특징에 기반한 신뢰할 수 없는 추론이 얼마나 널리 퍼져 있는가?

주요 결과

• 이미지 분류 모델의 상위 5개 정확한 예측 중 5.3% 이상이 객체 관련 없는 특징에 기반하며, 이는 비대상 특징에 대한 광범위한 의존성을 시사한다.
• 객체 검출 모델의 경우, 관련 없는 특징에 기반한 추론 비율이 8.5%를 초과하여 이 분야의 모델에서 더욱 심각한 문제가 있음을 드러낸다.
• 제안된 객체 관련성 점수는 배경이나 관련 없는 영역에 기반한 신뢰할 수 없는 추론을 내리는 모델을 효과적으로 식별한다.
• 객체 관련성 점수에 기반한 새로운 이미지 생성 전략은 기존 기준 대비 적대적 공격의 성공률을 두 배로 높인다.
• 연구 결과는 많은 널리 사용되는 사전 학습된 모델이 관련 없는 특징에 의존하는 공격에 취약하다는 것을 입증한다.
• 현재의 테스팅 기법은 모델 추론의 객체 관련성을 평가하지 않기 때문에 이러한 취약점을 종종 탐지하지 못함을 드러낸다.