[논문 리뷰] Beyond Pixel Norm-Balls: Parametric Adversaries using an Analytically Differentiable Renderer

Hsueh‐Ti Derek Liu, Michael Tao외 3명|arXiv (Cornell University)|2018. 08. 08.

Adversarial Robustness in Machine Learning참고 문헌 60인용 수 65

한 줄 요약

본 논문은 물리적 이미지 형성 매개변수(조명과 기하)를 교란시키는 parametric norm-balls를 제안하고, 물리 기반 차분 렌더러를 이용해 현실적인 적대적 예제와 렌더링 기반 데이터 증강을 가능하게 한다.

ABSTRACT

Many machine learning image classifiers are vulnerable to adversarial attacks, inputs with perturbations designed to intentionally trigger misclassification. Current adversarial methods directly alter pixel colors and evaluate against pixel norm-balls: pixel perturbations smaller than a specified magnitude, according to a measurement norm. This evaluation, however, has limited practical utility since perturbations in the pixel space do not correspond to underlying real-world phenomena of image formation that lead to them and has no security motivation attached. Pixels in natural images are measurements of light that has interacted with the geometry of a physical scene. As such, we propose the direct perturbation of physical parameters that underly image formation: lighting and geometry. As such, we propose a novel evaluation measure, parametric norm-balls, by directly perturbing physical parameters that underly image formation. One enabling contribution we present is a physically-based differentiable renderer that allows us to propagate pixel gradients to the parametric space of lighting and geometry. Our approach enables physically-based adversarial attacks, and our differentiable renderer leverages models from the interactive rendering literature to balance the performance and accuracy trade-offs necessary for a memory-efficient and scalable adversarial data augmentation workflow.

연구 동기 및 목표

• 실제 세계의 이미지 형성을 반영하는 물리적으로 기반한 교란으로의 이동을 촉진하기 위해 픽셀 공간의 적대자 이상으로 동기를 부여한다.
• 장면 매개변수에 대해 픽셀 색상을 해석적으로 미분할 수 있는 미분 가능한 렌더러를 도입한다.
• 조명과 기하에 대한 매개변수 공간에서의 적대적 공격을 시연하고 그 현실성 및 효과성을 평가한다.
• 실제 세계의 교란에 대한 강건성을 향상시키기 위해 렌더링된 적대적 데이터 증강을 탐구한다.

제안 방법

• 조명과 기하에 대한 해석적 도함수를 갖춘 물리 기반의 차분 가능한 렌더러를 개발한다.
• 조명을 spherical harmonics를 이용해 표현하여 조명 계수에 대한 효율적인 기울기 계산을 가능하게 한다.
• 삼각메시 정점을 조정하여 기하 변동을 모델링하고 정점 법선의 해석적 도함수를 계산한다.
• 렌더러와 분류기를 연결하여 C(I)= -CrossEntropy(f(I),Ld) + CrossEntropy(f(I),Li) 형태의 파라메트릭 적대적 목표를 정의한다.
• 다중 뷰 및 서브스페이스 조명(예: skylight)으로 확장하여 공격을 수행하고 조명과 기하학적 공격을 수행한다.

실험 결과

연구 질문

• RQ1 조명과 기하의 매개변수적(물리적으로 근거한) 교란이 이미지 분류기에 대해 효과적인 적대적 예제를 생성할 수 있는가?
• RQ2 픽셀 공간 공격보다 매개변수적 적대 공격이 모델 간 및 시각 조건 간에 더 잘 일반화되거나 다른 방식으로 일반화되는가?
• RQ3 미분 가능한 물리 기반 렌더링이 실제 세계의 이미지 형성 변화에 대한 강건성을 향상시키는 확장 가능한 적대적 데이터 증강을 가능하게 하는가?

주요 결과

• 매개변수적 norm-balls는 조명과 기하에서 현실적인 적대적 교란을 가능하게 하며 이는 분류기 결정에 상당한 영향을 준다.
• 해석적으로 미분 가능한 렌더러는 조명과 기하에 대해 빠르고 확장 가능한 도함수를 제공하며, 속도와 메모리 사용 측면에서 이전의 미분 가능한 렌더러를 능가한다.
• 매개변수적 적대 공격은 모델 간의 전이 가능성을 보이고 보지 않은 뷰를 속일 수 있어 매개변수 공격의 더 넓은 적용 가능성을 시사한다.
• 렌더링된 적대적 예제는 컴퓨터 생성 이미지뿐만 아니라 실제 사진에서의 강건성을 향상시키기 위한 데이터 증강에 사용할 수 있다.
• 다중 뷰 적대적 조명은 여러 뷰에서의 손실을 결합하여 분류기를 다양한 관점에서 속이는 교란을 설계할 수 있다.