[논문 리뷰] Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions

Stanislas Ducotterd, Alexis Goujon외 4명|arXiv (Cornell University)|2022. 10. 28.

Advanced Fluorescence Microscopy Techniques인용 수 4

한 줄 요약

이 논문은 학습 가능한 선형 스퍼플(스플라인) 활성화 함수를 사용하여 1-립시츠 신경망을 훈련하는 새로운 프레임워크를 제안한다. 이는 표준 ReLU 및 기타 활성화 함수보다 표현력과 성능을 크게 향상시킨다. 2차 총변동 정규화를 포함한 제약 조건이 있는 최적화 문제로 훈련을 공식화하고, 1-립시츠 제약 조건을 강제하기 위해 새로운 SplineProj 모듈을 도입함으로써, 플러그 앤 플레이 알고리즘을 사용한 이미지 복원 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Lipschitz-constrained neural networks have several advantages over unconstrained ones and can be applied to a variety of problems, making them a topic of attention in the deep learning community. Unfortunately, it has been shown both theoretically and empirically that they perform poorly when equipped with ReLU activation functions. By contrast, neural networks with learnable 1-Lipschitz linear splines are known to be more expressive. In this paper, we show that such networks correspond to global optima of a constrained functional optimization problem that consists of the training of a neural network composed of 1-Lipschitz linear layers and 1-Lipschitz freeform activation functions with second-order total-variation regularization. Further, we propose an efficient method to train these neural networks. Our numerical experiments show that our trained networks compare favorably with existing 1-Lipschitz neural architectures.

연구 동기 및 목표

• 1-립시츠 제약 조건 하에서 절댓값과 같은 단순한 함수를 표현할 수 없는 표준 ReLU 활성화 함수를 사용할 경우 1-립시츠 신경망의 표현력이 떨어지는 문제를 해결하기 위해.
• 학습 가능한 선형 스퍼플 활성화 함수(LLL)를 사용하는 1-립시츠 신경망에 대해 효율적이고 안정적인 훈련 프레임워크를 개발하기 위해.
• 각 스퍼플 활성화 함수의 립시츠 상수가 훈련 중 정확히 1이 되도록 보장하여 네트워크의 안정성과 일반화 능력을 유지하기 위해.
• 1-립시츠 성질을 유지하면서도 표현력을 향상시키기 위해 학습 가능한 스케일링 인자를 도입하기 위해.
• 기존의 1-립시츠 아키텍처에 비해 플러그 앤 플레이 이미지 복원 작업에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 자유형 활성화 함수를 사용하는 1-립시츠 신경망의 훈련을 제약 조건이 있는 기능 최적화 문제로 공식화하고, 조각별 선형 구조를 유도하기 위해 2차 총변동 정규화를 통합한다.
• 학습 가능한 선형 스퍼플 활성화 함수는 B-스플라인 기저를 사용하여 매개변수화되어, 조각별 선형 함수의 탄력적이고 미분 가능한 표현을 가능하게 한다.
• 새로운 SplineProj 모듈은 전방 전파 중에 스퍼플 매개변수를 투영하여 1-립시츠 제약 조건을 명시적으로 강제함으로써 전역 립시츠 제어를 보장한다.
• 정규화 모듈은 각 스퍼플의 스케일을 조절하면서도 1-립시츠 성질을 유지함으로써 표현력을 향상시키지만 안정성은 해치지 않는다.
• SplineProj과 정규화를 통해 1-립시츠 제약 조건을 네트워크 아키텍처에 직접 통합함으로써 전체 훈련을 제약 조건이 없는 최적화 문제로 변환한다.
• 이 프레임워크는 MRI 및 CT 이미지 복원과 같은 역문제에 대해 전진-후진 분할(FBS) 방법을 사용한 플러그 앤 플레이(PnP) 알고리즘에 적용된다.

실험 결과

연구 질문

• RQ1 학습 가능한 1-립시츠 선형 스퍼플 활성화 함수는 ReLU 및 기타 고정된 활성화 함수에 비해 1-립시츠 신경망의 표현력과 성능을 크게 향상시킬 수 있는가?
• RQ2 학습 가능한 선형 스퍼플 활성화 함수를 1-립시츠 네트워크에 사용하는 데 이론적 근거가 있으며, 잘 정의된 최적화 문제에 해당하는가?
• RQ3 학습 다이내믹스를 손상시키지 않으면서도 학습 가능한 스퍼플에 대해 1-립시츠 제약 조건을 효율적이고 안정적으로 강제할 수 있는 방법을 개발할 수 있는가?
• RQ4 MRI 및 CT와 같은 역문제의 복원 품질 측면에서 제안된 방법은 기존의 1-립시츠 아키텍처에 비해 어떻게 비교되는가?
• RQ5 1-립시츠 성질을 유지하면서도 학습 가능한 스케일링 인자를 포함함으로써 실질적으로 네트워크의 표현력이 향상되는가?

주요 결과

• 단일 코ils MRI 복원에서, LLS 기반 네트워크는 가속도 요인 4 및 0.08일 때 PSNR 31.54, SSIM 0.7924를 기록하여 ReLU(29.97/0.7574), AV(30.61/0.7721), PReLU(30.58/0.7716)를 모두 능가했다.
• 다중 코일 MRI 복원에서, LLS는 가속도 요인 4 및 0.08일 때 PSNR 38.68, SSIM 0.943을 기록하여 ReLU(37.21/0.929), AV(37.81/0.935), PReLU(37.71/0.934)를 초월했다.
• 노이즈 수준 σ=2인 저선량 CT 복원에서, LLS는 PSNR 31.85, SSIM 0.844를 기록하여 ReLU(30.34/0.782), AV(31.07/0.813), PReLU(30.87/0.812)를 크게 앞섰다.
• MRI 및 CT 실험 전반에서 모든 테스트 세트 및 노이즈 수준에서 LLS 방법은 모든 베이스라인보다 일관되게 뛰어난 성능을 보였으며, 이는 강건성과 일반화 능력을 입증한다.
• 이론적 분석을 통해 1-립시츠 선형 스퍼플 네트워크가 2차 총변동 정규화가 있는 제약 조건이 있는 기능 최적화 문제의 전역 최적해임을 확인했다.
• 제안된 SplineProj 모듈은 학습 가능한 스퍼플에 대해 1-립시츠 제약 조건을 효율적이고 정확하게 강제할 수 있게 하여, 이 방법이 실용적이고 안정적임을 입증한다.