[논문 리뷰] Analyzing and Improving Neural Networks by Generating Semantic Counterexamples through Differentiable Rendering

Lakshya Jain, Varun Chandrasekaran외 7명|arXiv (Cornell University)|2019. 10. 02.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 8

한 줄 요약

이 논문은 다양한 기하학적 변형, 색상 변화, 조명 변화 등의 의미적 특징을 제어할 수 있는 미분 가능 렌더링과 표준 공격 기법을 활용하여 딥 네ural 네트워크(DNN)의 현실적이고 의미적으로 유의미한 반례를 생성하는 방법을 제안한다. 3D 시뮬레이션 환경에서 객체의 위치, 방향, 색상 등의 의미적 특징을 미분 가능하게 변형함으로써, 모델의 오분류를 유도하는 정보성 있고 현실적인 적대적 예제를 생성하며, 이는 데이터 증강을 통해 DNN의 정확도를 향상시키는 데 기여한다. 이로 인해 정상 테스트 세트에서 최대 50%포인트의 정확도 저하가 발생하지만, 높은 현실감을 유지한다.

ABSTRACT

Even as deep neural networks (DNNs) have achieved remarkable success on vision-related tasks, their performance is brittle to transformations in the input. Of particular interest are semantic transformations that model changes that have a basis in the physical world, such as rotations, translations, changes in lighting or camera pose. In this paper, we show how differentiable rendering can be utilized to generate images that are informative, yet realistic, and which can be used to analyze DNN performance and improve its robustness through data augmentation. Given a differentiable renderer and a DNN, we show how to use off-the-shelf attacks from adversarial machine learning to generate semantic counterexamples -- images where semantic features are changed as to produce misclassifications or misdetections. We validate our approach on DNNs for image classification and object detection. For classification, we show that semantic counterexamples, when used to augment the dataset, (i) improve generalization performance (ii) enhance robustness to semantic transformations, and (iii) transfer between models. Additionally, in comparison to sampling-based semantic augmentation, our technique generates more informative data in a sample efficient manner.

연구 동기 및 목표

• 실제적인 의미적 변형(예: 객체 재배치, 회전, 조명 변화 등)에 취약한 DNN의 취약성을 해결하기 위해.
• 모델의 취약점을 드러내는 현실적이고 의미적으로 의미 있는 적대적 예제를 생성하기 위한 방법을 개발하기 위해.
• 이러한 의미적 반례를 활용한 데이터 증강을 통해 DNN의 강건성을 향상시키기 위해.
• 다양한 모델과 작업 간 의미적 반례의 이식성과 일반화 능력을 평가하기 위해.
• 미분 가능 렌더링이 고품질의 의미적 적대적 예제를 효율적이고 샘플 효율적으로 생성할 수 있음을 보여주기 위해.

제안 방법

• 3D-SDN 및 Redner와 같은 미분 가능 렌더링 프레임워크를 활용하여 객체 자세, 색상, 조명 등 제어 가능한 의미적 특징을 갖는 3D 시나리오를 모델링한다.
• 반복적 FGSM, PGD 변형, Carlini-Wagner 등의 표준 공격 기법을 의미적 특징 공간에서 활용하여 모델의 오분류를 유도하는 변형을 생성한다.
• 미분 가능 렌더러를 통해 역전파를 수행하여 모델 손실을 최대화하면서도 시각적 현실감을 유지하는 의미적 파rameter를 최적화한다.
• 변형된 3D 시나리오를 재렌더링하여 물리적 타당성과 의미적 일관성을 확보하는 적대적 예제를 생성한다.
• 생성된 의미적 반례를 활용해 훈련 데이터를 증강하고, DNN를 재학습시켜 강건성을 향상시킨다.
• 실제 이미지와의 시각적 유사도 평가를 위해 FID 및 LPIPS 점수, 인간 평가자의 인식 유사도 평가를 통해 현실감을 평가한다.

실험 결과

연구 질문

• RQ1 미분 가능 렌더링을 활용하여 모델의 오분류를 유도하는 현실적인 의미적 반례를 생성할 수 있는가?
• RQ2 이러한 의미적 반례는 의미적 변형에 대한 DNN의 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ3 의미적 반례는 다양한 모델과 아키텍처 간에 얼마나 이식 가능한가?
• RQ4 이러한 방법의 샘플 효율성은 샘플 기반 데이터 증강 전략과 비교해 어떻게 되는가?
• RQ5 생성된 의미적 반례의 현실감과 인지적 품질은 어떠한가?

주요 결과

• 미분 가능 렌더링을 통해 생성된 의미적 반례는 정상 테스트 세트에서 최대 50%포인트의 정확도 저하를 유도하여 강력한 적대적 영향을 입증하였다.
• 데이터 증강에 활용된 의미적 반례는 이미지 분류 및 객체 검출 작업 모두에서 일반화 능력과 강건성을 향상시켰다.
• 의미적 반례로 재학습한 결과, mAP는 7포인트 상승했고, 정상 mAP는 99.4에서 84.73으로 뿐만 아니라 15포인트 감소하여 강건성 향상이 뚜렷하게 나타났다.
• 높은 현실감을 확보하여 평균 FID 점수는 0.102, 평균 LPIPS 거리는 0.524였고, 인간 평가에서 현실감 평가 점수는 5점 만점에 4.74점이었다.
• 의미적 반례는 이식성이 있었으며, SqueezeDet용으로 생성된 반례는 YOLOv3의 mAP를 91.28%에서 87.50%로 떨어뜨려, 다양한 모델 간 효과성을 입증하였다.
• 샘플 기반 증강 전략과 비교했을 때, 제안된 방법은 더 적은 쿼리 수로 더 정보적인 데이터를 생성하여 뛰어난 샘플 효율성을 입증하였다.