[논문 리뷰] E-LPIPS: Robust Perceptual Image Similarity via Random Transformation Ensembles

Markus Kettunen, Erik Härkönen외 1명|arXiv (Cornell University)|2019. 06. 10.

Advanced Image Processing Techniques참고 문헌 31인용 수 33

한 줄 요약

E-LPIPS는 사실상 무한한 앙상블의 무작위 입력 변환 및 구조적 조정의 평균화를 통해 LPIPS를 확장하여, 인간의 판단을 보존하면서도 적대적 공격에 치우치지 않는 강건한 지각적 유사도 지표를 제공합니다. 또한 이미지 공간에서의 지각적 볼록성을 드러내고 복원 작업에서의 손실 성능을 향상시킵니다.

ABSTRACT

It has been recently shown that the hidden variables of convolutional neural networks make for an efficient perceptual similarity metric that accurately predicts human judgment on relative image similarity assessment. First, we show that such learned perceptual similarity metrics (LPIPS) are susceptible to adversarial attacks that dramatically contradict human visual similarity judgment. While this is not surprising in light of neural networks' well-known weakness to adversarial perturbations, we proceed to show that self-ensembling with an infinite family of random transformations of the input --- a technique known not to render classification networks robust --- is enough to turn the metric robust against attack, while retaining predictive power on human judgments. Finally, we study the geometry imposed by our our novel self-ensembled metric (E-LPIPS) on the space of natural images. We find evidence of "perceptual convexity" by showing that convex combinations of similar-looking images retain appearance, and that discrete geodesics yield meaningful frame interpolation and texture morphing, all without explicit correspondences.

연구 동기 및 목표

• LPIPS-스타일의 지각적 유사도 지표가 인간 판단과 모순되는 방향으로의 적대적 공격에 취약한지 입증한다.
• 랜덤 입력 변환과 네트워크 변형의 앙상블로 강건성을 높이되 인간이 예측한 판단 정확도 손실 없이 유지하는 E-LPIPS를 제안한다.
• E-LPIPS가 자연 이미지 공간에서 만들어내는 기하학적 속성(지각적 볼록성 및 의미 있는 거리지)을 분석한다.

제안 방법

• 입력 이미지에 루프 가능하고 사실상 무한한 기하학적 및 색상 변환 앙상블을 적용한 뒤 LPIPS 거리를 계산한다.
• 입력의 마지막 층뿐 아니라 모든 합성곱 층에 걸친 거리들을 계산하되, 학습된 가중치를 갖는 입력 색상 항도 포함한다.
• Gradient 흐름과 강건성을 개선하기 위해 모든 층에 드롭아웃을 도입하고 최대풀링을 평균풀링으로 대체한다.
• E-LPIPS를 변환 앙상블의 기대값으로 정의한다: d_E-LPIPS(x,y)=E[d_LPIPS(T(x),T(y))]
• 실용적 가이드를 제시: 한 번의 임의 샘플이면 충분하나 정밀도를 위해 N>=300 샘플을 권장한다.
• EoT 스타일 최적화를 이용한 흰박스(adversarial) 공격에 대한 강건성을 평가하고 LPIPS 변형들과 비교한다.

실험 결과

연구 질문

• RQ1 LPIPS-스타일 지각적 유사도 지표가 인간 판단과의 불일치를 일으키는 공격에 취약한가?
• RQ2 무작위 변환 자체 앙상블(E-LPIPS)이 공격에 대한 강건성을 향상시키면서 인간의 지각 판단과의 상관성을 유지하는가?
• RQ3 E-LPIPS 지표 하에서 어떤 기하학적 특성(예: 지각적 볼록성, 의미 있는 지오데시스)이 나타나는가?
• RQ4 E-LPIPS가 이미지 복원 및 관련 작업에서 최적화 안정성을 잃지 않으면서 효과적인 손실 함수가 될 수 있는가?

주요 결과

• E-LPIPS는 lpips-vgg 및 lpips-sqz에 비해 적대적 공격에 훨씬 더 강건하며, 공격 하에서 L2 거리의 증가를 줄인다( LPIPS 변형에서 3.7–14.5 대 LPIPS 변형에서 16.0–16.2 ).
• 작은 L2 교란으로 제약된 공격은 E-LPIPS보다 LPIPS 거리를 훨씬 더 크게 증가시키며, 개선된 회복력을 보여준다.
• 각 변환 구성요소가 강건성에 기여함을 보여주는 애블레이션 결과, 전체 앙상블이 가장 강력한 방어를 제공한다.
• E-LPIPS는 LPIPS와 유사한 인간 판단 예측 정확도를 달성한다(2AFC 과제: 비앙상블 변형의 경우 69.16% 대 68.65–70.07%).
• E-LPIPS는 지각적 볼록성을 보인다: 바리센터가 L2나 LPIPS보다 외모를 더 잘 보존하고, 이산적 지오데시스가 명시적 대응 없이도 의미 있는 프레임 보간 및 질감 변형을 제공한다.
• 손실 함수로서 E-LPIPS를 사용하는 경우 일반 LPIPS에 비해 복원 결과가 일관되게 더 우수하다.