[논문 리뷰] Adversarial Geometry and Lighting using a Differentiable Renderer

Hsueh‐Ti Derek Liu, Michael Tao외 3명|arXiv (Cornell University)|2018. 08. 08.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 픽셀 값이 아닌 조명 및 기하학적 매개변수를 직접 변형하는 적대적 공격을 제안하며, 기하학적 렌더링을 통해 기울기 기반 최적화를 가능하게 한다. 주요 기여는 매개변수화된 노름-구를 사용한 물리적으로 타당한 평가 프레임워크를 제시하여 시각 모델에서 더 현실적이고 안전한 적대적 강건성 평가를 가능하게 한다.

ABSTRACT

Many machine learning image classifiers are vulnerable to adversarial attacks, inputs with perturbations designed to intentionally trigger misclassification. Current adversarial methods directly alter pixel colors and evaluate against pixel norm-balls: pixel perturbations smaller than a specified magnitude, according to a measurement norm. This evaluation, however, has limited practical utility since perturbations in the pixel space do not correspond to underlying real-world phenomena of image formation that lead to them and has no security motivation attached. Pixels in natural images are measurements of light that has interacted with the geometry of a physical scene. As such, we propose the direct perturbation of physical parameters that underly image formation: lighting and geometry. As such, we propose a novel evaluation measure, parametric norm-balls, by directly perturbing physical parameters that underly image formation. One enabling contribution we present is a physically-based differentiable renderer that allows us to propagate pixel gradients to the parametric space of lighting and geometry. Our approach enables physically-based adversarial attacks, and our differentiable renderer leverages models from the interactive rendering literature to balance the performance and accuracy trade-offs necessary for a memory-efficient and scalable adversarial data augmentation workflow.

연구 동기 및 목표

• 현재의 적대적 공격가 픽셀 공간에서만 작동하여 실제 이미지 형성 과정과의 대응이 부족한 점을 해결하기 위해.
• 조명 및 기하학과 같은 실제 세계 현상 반영의 물리적 의미 있는 적대적 평가 프레임워크를 개발하기 위해.
• 물리 기반 렌더러를 통해 미분 가능하게 하여 적대적 예제의 기울기 기반 최적화를 가능하게 하기 위해.
• 기계 학습에서의 적대적 강건성 평가의 실용적 관련성과 보안 동기를 향상시키기 위해.
• 기하학적 렌더링을 활용한 효율적인 적대적 데이터 증강에서 계산 효율성과 정확성의 균형을 맞추기 위해.

제안 방법

• 저자는 인터랙티브 렌더링 모델을 기반으로 한 기하학적 렌더러를 도입하여 픽셀 공간에서 조명 및 기하학적 매개변수로의 역전파를 가능하게 한다.
• 그들은 조명 및 기하학적 매개변수의 특정 범위 내에서 변형이 가능한 집합으로서 매개변수화된 노름-구를 정의하며, 기존의 픽셀-노름 제약 조건을 대체한다.
• 이 방법은 조명 및 기하학적 매개변수를 직접 최적화하여 기울기 하강법을 통해 적대적 예제를 생성한다.
• 기하학적 렌더러는 픽셀 수준의 손실이 조명 방향, 강도 및 시점 기하학에 대해 기울기를 계산한다.
• 효율적인 렌더링 기법을 활용하여 확장 가능하고 메모리 효율적인 적대적 데이터 증강을 지원한다.
• 이 프레임워크는 물리적으로 타당한 변형 하에서 모델의 엔드 투 엔드 훈련 및 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 픽셀 공간이 아닌 물리적 매개변수 공간에서 작동하는 공격이 실제 세계 이미지 형성 과정과 더 잘 부합하는가?
• RQ2 픽셀이 아닌 조명 및 기하학적 매개변수를 변형할 경우 적대적 공격의 성능는 어떻게 변화하는가?
• RQ3 매개변수화된 노름-구가 모델 강건성 평가에 더 안전하고 실용적인가?
• RQ4 기하학적 렌더러가 물리적 매개변수 변형에 대한 효율적이고 정확한 기울기 기반 최적화를 가능하게 하는가?
• RQ5 기존의 픽셀 기반 적대적 훈련과 비교해 볼 때 제안된 방법은 강건성과 일반화 성능 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 실제 세계 이미지 형성 과정과 더 잘 부합하는 물리적으로 타당한 적대적 공격를 가능하게 한다.
• 매개변수화된 노름-구는 기존의 픽셀-노름 제약 조건보다 더 의미 있고 안전한 평가 지표를 제공한다.
• 기하학적 렌더러는 픽셀에서 조명 및 기하학적 매개변수로의 기울기를 성공적으로 전파하여 효과적인 최적화를 가능하게 한다.
• 효율적인 렌더링 기법을 통해 확장 가능하고 메모리 효율적인 적대적 데이터 증강을 달성한다.
• 조명 및 기하학적 매개변수의 변형을 통해 생성된 적대적 예제는 실제 세계의 손상에 더 높은 실용성과 강건성을 보인다.
• 기존의 픽셀 기반 공격에 비해 제안된 방법은 현실적인 물리적 변형 하에서 모델의 강건성을 향상시킨다.