[논문 리뷰] Strike (with) a Pose: Neural Networks Are Easily Fooled by Strange Poses of Familiar Objects

Michael A. Alcorn, Qi Li외 5명|arXiv (Cornell University)|2018. 11. 28.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 3D 렌더러 기반 프레임워크를 제안하여 최첨단 이미지 분류기의 성능을 높이기 위해 6차원 물체 자세(3차원 이동 및 회전)를 최적화함으로써 딥 네ural 네트워크(DNN)의 분포 외(Out-of-Distribution, OoD) 실패를 탐지한다. 분석 결과, 익숙한 ImageNet 물체에 대해 DNN은 97%의 자세 변형에서 잘못 분류되며, 이는 적대적 자세가 모델 간 및 실세계 이미지로까지 전이됨을 보여주며, 표준 벤치마크에서 높은 정확도를 기록하고 있음에도 불구하고 현재 DNN의 근본적인 강건성 격차를 드러낸다.

ABSTRACT

Despite excellent performance on stationary test sets, deep neural networks (DNNs) can fail to generalize to out-of-distribution (OoD) inputs, including natural, non-adversarial ones, which are common in real-world settings. In this paper, we present a framework for discovering DNN failures that harnesses 3D renderers and 3D models. That is, we estimate the parameters of a 3D renderer that cause a target DNN to misbehave in response to the rendered image. Using our framework and a self-assembled dataset of 3D objects, we investigate the vulnerability of DNNs to OoD poses of well-known objects in ImageNet. For objects that are readily recognized by DNNs in their canonical poses, DNNs incorrectly classify 97% of their pose space. In addition, DNNs are highly sensitive to slight pose perturbations. Importantly, adversarial poses transfer across models and datasets. We find that 99.9% and 99.4% of the poses misclassified by Inception-v3 also transfer to the AlexNet and ResNet-50 image classifiers trained on the same ImageNet dataset, respectively, and 75.5% transfer to the YOLOv3 object detector trained on MS COCO.

연구 동기 및 목표

• 자율주행차가 낯선 물체 시야를 만날 수 있는 실제 환경에서 딥 네ural 네트워크(DNN)가 분포 외(OoD) 입력에서 왜 실패하는지 탐구하기.
• 3D 렌더러와 최적화를 활용해 DNN의 잘못된 분류를 유도하는 특정 6차원 물체 자세(3차원 이동 및 회전)인 적대적 자세를 식별하고 생성하기.
• 이러한 적대적 자세가 다양한 DNN 아키텍처(Inception-v3, AlexNet, ResNet-50, YOLOv3 등)와 데이터셋(ImageNet, MS COCO) 간에 얼마나 전이 가능한지 평가하기.
• 생성된 적대적 자세에 대한 적대적 훈련이 같은 클래스에 속하지만 볼 수 없는 물체로의 일반화를 향상시키는지 평가하기.
• 심지어 인간이 인식할 수 있는 실재 이미지가 이상한 자세로 제시될 경우에도 고신뢰도 DNN 예측이 잘못될 수 있음을 보여주며, 진정한 물체 인식의 개념에 도전하기.

제안 방법

• 프레임워크는 6차원 자세 파rameter(3차원 이동 및 회전)를 2차원 이미지 출력으로 매핑할 수 있는 가변 가능 3D 렌더러를 사용하여 기울기 기반 최적화를 가능하게 한다.
• 문제를 목표 DNN 분류기의 손실을 최대화하도록 자세 파rameter를 최적화하는 것으로 공식화하며, 유한 차분 또는 가변 가능 렌더러를 통한 역전파를 활용한다.
• 반복적으로 물체 자세 파rameter를 조정하여 오류 분류 신뢰도를 극대화하면서도 시각적 타당성을 유지함으로써 적대적 자세(AXs)를 생성한다.
• 자율주행차와 관련된 ImageNet 클래스에서 유래한 30개의 3D 물체로 구성된 자체 구성 데이터셋을 프레임워크 평가에 사용한다.
• 적대적 훈련은 ImageNet 데이터셋에 1개 물체당 1,350장의 고신뢰도 적대적 이미지를 추가한 후 DNN 재학습을 통해 일반화 능력을 평가한다.
• 전이 가능성 평가를 위해 적대적 자세를 다양한 모델에 적용하고, 실세계 이미지와 해당 렌더링된 적대적 자세를 비교한다.

실험 결과

연구 질문

• RQ1 시각적으로 타당하고 인간이 인식할 수 있는 익숙한 ImageNet 물체의 분포 외(OoD) 6차원 자세에 대해 최첨단 이미지 분류기가 얼마나 실패하는가?
• RQ2 다양한 DNN 아키텍처(예: Inception-v3, AlexNet, ResNet-50 등)와 객체 탐지기(예: YOLOv3 등) 간에 적대적 자세는 얼마나 전이 가능한가?
• RQ3 3D 렌더링을 통해 생성된 적대적 자세에 대한 적대적 훈련이 같은 클래스에 속하지만 볼 수 없는 물체로의 일반화를 향상시킬 수 있는가?
• RQ4 3D 렌더러에서 생성된 적대적 자세는 실세계 분포 외 예시와 대응하는가? 그리고 실사 사진에서 모델을 속일 수 있는가?
• RQ5 물체 기하학적 특성(예: 구형 대비 복잡한 형태)은 DNN의 자세 변화에 대한 강건성에 어떤 역할을 하는가?

주요 결과

• 30개의 ImageNet 물체에 대해 DNN은 전체 6차원 자세 공간의 3.09%만 정확히 분류하며, 자세 변화에 대해 극도로 취약함을 시사한다.
• 적대적 자세는 매우 작은 변형으로 생성될 수 있으며, 각각 요울(yaw), 피치(pitch), 롤(roll) 방향으로 10.31°, 8.02°, 9.17°의 변형만으로도 잘못 분류를 유도한다.
• Inception-v3에 대해 생성된 적대적 자세의 99.9%가 AlexNet으로, 99.4%가 ResNet-50로 전이되며, 분류기 간 높은 전이 가능성 확인.
• YOLOv3 객체 탐지기의 75.5%에 대해 적대적 자세가 전이되며, 이는 자세 기반 실패가 객체 탐지 모델까지 확장됨을 시사한다.
• 생성된 자세에 대한 적대적 훈련은 적대적 세트에서 검증 정확도를 96.7%로 향상시켰지만, 볼 수 없는 물체로의 일반화에는 도움이 되지 않아 제한된 강건성 향상 효과를 보였다.
• Inception-v3가 잘못 분류한 실세계 사진의 98.3%가 렌더링된 적대적 자세와 일치하며, 이 역시 잘못 분류되었음을 확인하여 실세계 전이 가능성 확인.