[논문 리뷰] Nonlinear Power Method for Computing Eigenvectors of Proximal Operators and Neural Networks

Leon Bungert, Ester Hait-Fraenkel외 2명|arXiv (Cornell University)|2020. 03. 10.

Sparse and Compressive Sensing Techniques참고 문헌 75인용 수 10

한 줄 요약

이 논문은 비선형 거듭제곱 방법을 제안하여 보정 연산자와 딥 네URAL 네트워크의 고유벡터를 계산하며, 일차 동차 보정 연산자에 대해 수렴성을 증명하고 일반적인 노이즈 제거 네트워크를 위한 수정된 방법을 도입한다. 주요 결과로는 고유벡터가 안정/불안정 모드를 드러내며, DnCNN은 수평 줄무늬를 선호하고 FFDnet은 스무딩 행동을 보임으로써 네트워크의 행동과 강건성에 대한 통찰을 제공한다.

ABSTRACT

Neural networks have revolutionized the field of data science, yielding remarkable solutions in a data-driven manner. For instance, in the field of mathematical imaging, they have surpassed traditional methods based on convex regularization. However, a fundamental theory supporting the practical applications is still in the early stages of development. We take a fresh look at neural networks and examine them via nonlinear eigenvalue analysis. The field of nonlinear spectral theory is still emerging, providing insights about nonlinear operators and systems. In this paper we view a neural network as a complex nonlinear operator and attempt to find its nonlinear eigenvectors. We first discuss the existence of such eigenvectors and analyze the kernel of ReLU networks. Then we study a nonlinear power method for generic nonlinear operators. For proximal operators associated to absolutely one-homogeneous convex regularization functionals, we can prove convergence of the method to an eigenvector of the proximal operator. This motivates us to apply a nonlinear method to networks which are trained to act similarly as a proximal operator. In order to take the non-homogeneity of neural networks into account we define a modified version of the power method. We perform extensive experiments for different proximal operators and on various shallow and deep neural networks designed for image denoising. Proximal eigenvectors will be used for geometric analysis of graphs, as clustering or the computation of distance functions. For simple neural nets, we observe the influence of training data on the eigenvectors. For state-of-the-art denoising networks, we show that eigenvectors can be interpreted as (un)stable modes of the network, when contaminated with noise or other degradations.

연구 동기 및 목표

• 일반적인 비선형 연산자, 특히 보정 연산자와 노이즈 제거 신경망의 고유벡터를 계산하기 위한 비선형 거듭제곱 방법을 개발하기 위해.
• 절대 일차 동차 볼록 함수에 대한 보정 연산자와 관련된 비선형 거듭제곱 방법의 수렴성을 엄밀히 분석하기 위해.
• 비동차 신경망에 대해 이론적 수렴성이 입증되지 않은 복잡한 비선형 네트워크에 대해 방법을 일반화하기 위해 수정된 거듭제곱 반복 기법을 도입하기 위해.
• 계산된 고유벡터를 (불)안정 모드로 해석하여 노이즈 제거 네트워크의 구조적 선호도와 강건성에 대한 통찰을 제공하기 위해.
• 기하 분석에서의 고유벡터의 유용성을 입증하기 위해 그래프 클러스터링 및 거리 함수 계산과 같은 작업에 적용하기 위해.

제안 방법

• 기존 선형 거듭제곱 방법을 비선형 연산자에 적용하기 위해, 정규화된 벡터에 대해 연산자를 반복적으로 적용하는 방식으로 접근한다.
• 스펙트럼 이론과 하위미분 분석을 사용하여 절대 일차 동차 볼록 함수에 대한 보정 연산자와 관련된 비선형 거듭제곱 방법의 수렴성을 증명한다.
• 영역 특성에 맞는 행동을 반영하고 발산을 방지하기 위해 비동차 신경망을 위한 수정된 거듭제곱 방법을 제안한다.
• 네트워크를 반복적으로 적용하여 고유벡터를 근사하고, 주요 고유값을 점점 커지는 비율로 간주한다.
• 얕은 네트워크와 깊은 노이즈 제거 네트워크(FDNet, DnCNN 등)에 대해 방법을 적용하고, 결과 고유벡터를 시각적 및 정량적 비교를 통해 분석한다.
• 입력-출력 차이를 비교하고 다양한 노이즈 패턴 하에서 청소된 이미지와 원본 이미지 간의 MSE를 측정하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 절대 일차 동차 함수에 대한 보정 연산자의 비선형 거듭제곱 방법이 엄밀히 수렴함을 증명할 수 있는가?
• RQ2 이론적 수렴성이 입증되지 않은 비동차이며 극도로 비선형적인 신경망에 대해 거듭제곱 방법을 어떻게 일반화할 수 있는가?
• RQ3 계산된 고유벡터는 훈련된 노이즈 제거 네트워크의 구조적 선호도와 강건성에 대해 무엇을 드러내는가?
• RQ4 노이즈 또는 열화 조건 하에서 이미지 노이즈 제거 네트워크의 안정 및 불안정 모드와 고유벡터는 어떻게 관련되는가?
• RQ5 보정 고유벡터는 그래프 클러스터링 및 거리 함수 계산과 같은 기하 작업에 효과적으로 활용될 수 있는가?

주요 결과

• 스펙트럼 분석과 하위미분 성질을 통해 절대 일차 동차 함수에 대한 보정 연산자와 관련된 비선형 거듭제곱 방법이 고유벡터로 수렴함을 증명하였다.
• FFDnet의 경우 고유벡터 계산 결과, 스무딩 행동이 뚜렷하게 드러나며, 스무딩 또는 구조적인 입력에서는 변화가 거의 없음을 확인하였다.
• DnCNN은 단일 노이즈 제거 후 입력과 출력 간의 거의 일치를 보이며, 수평 줄무늬 이미지에서 낮은 MSE를 기록함으로써 수평 줄무늬를 선호함을 입증하였다.
• DnCNN을 반복적으로 적용하면 스무딩된 이미지에 수평 줄무늬가 나타나며, 이는 훈련 데이터에 존재하지 않는 색인 효과를 나타낸다.
• DnCNN과 FFDnet의 안정 모드는 초기 조건의 스무딩된 형태에 수평 구조가 추가된 것으로, 네트워크의 행동에 구조적 편향이 있음을 시사한다.
• 수정된 거듭제곱 방법을 통해 계산된 고유벡터는 해석 가능한 (불)안정 모드를 제공하며, 네트워크가 어떤 이미지 구조를 유지하거나 제거하는지 드러낸다.