[논문 리뷰] Nonlocal Neural Networks, Nonlocal Diffusion and Nonlocal Modeling

Yunzhe Tao, Qi Sun외 2명|arXiv (Cornell University)|2018. 06. 02.

Neural Networks and Applications참고 문헌 24인용 수 15

한 줄 요약

이 논문은 비국소 연산을 확산 및 마코프 절차 과정을 통해 모델링하여 안정성과 깊이를 향상시키는 새로운 비국소 신경망 블록을 제안한다. 훈련된 가중치 행렬을 분석함으로써 음수 가중치를 갖는 제안된 형식을 유도하여 안정된 동역학을 보장함으로써 깊은 네트워크를 구축하면서도 장거리 특징 학습을 유지한다.

ABSTRACT

Nonlocal neural networks have been proposed and shown to be effective in several computer vision tasks, where the nonlocal operations can directly capture long-range dependencies in the feature space. In this paper, we study the nature of diffusion and damping effect of nonlocal networks by doing spectrum analysis on the weight matrices of the well-trained networks, and then propose a new formulation of the nonlocal block. The new block not only learns the nonlocal interactions but also has stable dynamics, thus allowing deeper nonlocal structures. Moreover, we interpret our formulation from the general nonlocal modeling perspective, where we make connections between the proposed nonlocal network and other nonlocal models, such as nonlocal diffusion process and Markov jump process.

연구 동기 및 목표

• 훈련된 가중치 행렬의 스펙트럼 분석을 통해 기존 비국소 신경망의 근본적인 동역학을 이해한다.
• 표준 비국소 블록의 안정성 부족과 감쇠 효과로 인해 깊이가 제한되는 문제를 해결한다.
• 더 깊은 아키텍처를 위해 안정된 동역학을 보장하는 새로운 비국소 블록 형식을 개발한다.
• 비국소 네트워크와 비국소 확산, 마코프 점프 과정과 같은 기존 비국소 모델 간의 이론적 연결을 수립한다.
• 장거리 특징 표현을 유지하면서도 열화 없이 안정적인 깊은 비국소 네트워크를 가능하게 한다.

제안 방법

• 훈련된 비국소 블록의 가중치 행렬에 스펙트럼 분석을 수행하여 감쇠 및 확산 효과를 정량화한다.
• 비국소 확산 과정에 영감을 얻어 음수 가중치를 사용하여 동역학을 안정화하는 새로운 비국소 블록 형식을 제안한다.
• 새로운 블록을 이산 시간 마코프 점프 과정으로 유도하며, 커널 행렬 K가 열합을 1로 보장하고 안정성을 확보한다.
• 비국소 연산을 힐버트-슈미트 연산자로 재구성하여 유계성과 유한한 프로베니우스 노름을 보장한다.
• 제안된 네트워크를 PDE와 연결하여 잔차 네트워크에 정규화 확산 항을 도입함을 보여준다.
• 음수 계수를 사용함으로써 원래 비국소 네트워크의 0-정적상태 문제를 피할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 깊이가 깊어질수록 표준 비국소 신경망에서 발생하는 감쇠 및 불안정성의 원인은 무엇인가?
• RQ2 비국소 블록의 동역학을 어떻게 안정화시켜 더 깊은 아키텍처를 가능하게 할 수 있는가?
• RQ3 비국소 신경망과 비국소 확산 또는 마코프 점프 과정 간의 수학적 관계는 무엇인가?
• RQ4 장거리 상관관계를 유지하면서도 안정된 훈련 동역학을 보장할 수 있는 비국소 블록을 설계할 수 있는가?
• RQ5 제안된 형식은 원래 비국소 블록과 비교해 안정성과 표현 능력 측면에서 어떻게 다를까?

주요 결과

• 스펙트럼 분석 결과, 훈련된 비국소 블록은 양수 고유값으로 인해 강한 감쇠 효과를 보이며 신호가 감쇠됨을 밝혀냈다.
• 원래 비국소 블록은 비음수 유사도 함수로 인해 정적상태 해가 Z ≡ 0임을 보이며 반복 과정에서 특징이 소멸됨을 확인했다.
• 제안된 비국소 블록은 음수 가중치를 사용하며 수학적으로 역방향 마코프 점프 과정과 동치이며 안정된 동역학을 보장한다.
• 제안된 형식에서 커널 행렬 K는 마코프 행렬(열합이 1)이며, 힐버트-슈미트 연산자로서 시스템은 유계이다.
• 새로운 블록은 원래 형식의 불안정성을 피함으로써 깊은 스택이 가능해져 장거리 특징의 보존이 향상됨을 확인했다.
• 이론적 분석을 통해 제안된 네트워크가 PDE 해석에서 잔차 네트워크에 정규화 확산 항을 도입함을 보여주어 안정성을 향상시킴을 입증했다.