[논문 리뷰] Orthogonalizing Convolutional Layers with the Cayley Transform

Asher Trockman, J. Zico Kolter|arXiv (Cornell University)|2021. 04. 14.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 11

한 줄 요약

이 논문은 푸리에 도메인에서 케일리 변환을 사용하여 직교 합성곱 레이어를 직접 매개변수화하는 새로운 방법을 제안한다. 이는 효율적인 역산 계산과 고정밀 직교성 실현을 가능하게 하며, ℓ₂-유계 공격에 대해 최신 기준의 인증 가능한 적대적 내성 확보를 가능하게 하면서도 더 큰 네트워크로도 스케일링 가능하다. 이 방법은 이전의 리프시츠 제약 및 직교 합성곱 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Recent work has highlighted several advantages of enforcing orthogonality in the weight layers of deep networks, such as maintaining the stability of activations, preserving gradient norms, and enhancing adversarial robustness by enforcing low Lipschitz constants. Although numerous methods exist for enforcing the orthogonality of fully-connected layers, those for convolutional layers are more heuristic in nature, often focusing on penalty methods or limited classes of convolutions. In this work, we propose and evaluate an alternative approach to directly parameterize convolutional layers that are constrained to be orthogonal. Specifically, we propose to apply the Cayley transform to a skew-symmetric convolution in the Fourier domain, so that the inverse convolution needed by the Cayley transform can be computed efficiently. We compare our method to previous Lipschitz-constrained and orthogonal convolutional layers and show that it indeed preserves orthogonality to a high degree even for large convolutions. Applied to the problem of certified adversarial robustness, we show that networks incorporating the layer outperform existing deterministic methods for certified defense against $\ell_2$-norm-bounded adversaries, while scaling to larger architectures than previously investigated. Code is available at https://github.com/locuslab/orthogonal-convolutions.

연구 동기 및 목표

• 직접적이고 확장 가능하며 표현력 있는 직교 합성곱 레이어의 매개변수화 방법이 부족한 문제를 해결하기 위해.
• 직교성을 강제하기 위해 히우리스틱 페널티 방법이나 커널 재형성 기법의 한계를 극복하기 위해.
• 반복적 투영이나 스펙트럼 정규화에 의존하지 않고도 대규모 합성곱 네트워크에서 고정밀 직교성을 유지하기 위해.
• 확률적이 아닌 결정론적이고 기울기 노름을 유지하는 레이어를 사용하여 ℓ₂-노름 유계 변형에 대한 인증 가능한 적대적 내성 향상하기 위해.
• 다양한 아키텍처와 채널 수에 걸쳐 32비트 정밀도에서 직교성을 유지하는 매개변수화 방법 제공하기 위해.

제안 방법

• 푸리에 도메인에서 반대칭 합성곱에 케일리 변환을 적용하여 결과적으로 직교 행렬이 되도록 보장한다.
• 케일리 변환에 의해 요구되는 역합성곱을 효율적으로 계산하기 위해 푸리에 도메인을 활용하며, 비용이 많이 드는 행렬 역행렬 계산을 피한다.
• 최적화 기반의 페널티나 투영 방법을 피하기 위해 매개변수화 과정 자체에서 직교성을 직접 강제한다.
• 기본적인 합성곱 신경망 아키텍처와 호환되며, 임의의 커널 크기와 채널 차원을 지원한다.
• PyTorch로 구현되었으며, 코드는 https://github.com/locuslab/orthogonal-convolutions 에서 공개된다.
• 포워드 패스에는 스트라이드=2일 때 입력 텐서를 재구성하기 위한 프리후크가 포함되어 있으며, einops 재배열을 통해 공간 차원을 유지한다.

실험 결과

연구 질문

• RQ1 반복적 투영이나 커널 재형성에 의존하지 않고도 직접적이고 표현력 있으며 확장 가능한 직교 합성곱의 매개변수화가 가능할 수 있는가?
• RQ2 푸리에 도메인 케일리 변환은 32비트 부동소수점 산술 하에서 대규모 합성곱에서 고정밀 직교성을 실현할 수 있는가?
• RQ3 이러한 레이어는 기존의 리프시츠 제약 및 직교 합성곱 방법보다 ℓ₂-노름 유계 공격에 대해 인증 가능한 적대적 내성을 향상시킬 수 있는가?
• RQ4 케일리 기반 직교 합성곱 레이어의 성능은 다양한 네트워크의 깊이와 너비에 따라 어떻게 스케일링되는가?
• RQ5 배치 정규화나 잔여 연결 없이도 레이어가 기울기 노름 보존과 학습 안정성을 유지하는가?

주요 결과

• 제안된 케일리 기반 직교 합성곱 레이어는 큰 커널과 높은 채널 수 조건에서도 32비트 부동소수점 산술에서 높은 정밀도로 직교성을 유지한다.
• 이 방법은 기존의 결정론적 인증 방어 방법보다 ℓ₂-유계 적대적 공격에 대해 인증된 정확도 측면에서 뛰어난 성능을 발휘한다.
• 이 레이어를 사용한 네트워크는 이전에 문헌에서 다뤄지지 않은 더 큰 아키텍처에서 최고 수준의 인증 가능한 내성을 확보한다.
• 케일리 레이어를 포함한 네트워크는 적대적 훈련 없이도 뛰어난 내성을 확보하며, 직교성에서 기인하는 본질적 안정성을 보여준다.
• 이 방법은 더 깊고 넓은 네트워크로도 효과적으로 스케일링되며, BCOP 및 스펙트럼 정규화 기반 접근보다 뛰어난 성능을 보인다.
• 실험 결과는 레이어가 기울기 노름을 유지하고 활성화를 안정화시킴을 확인하며, 배치 정규화의 대안으로서의 역할을 뒷받침한다.