[論文レビュー] Nonlocal Neural Networks, Nonlocal Diffusion and Nonlocal Modeling

Yunzhe Tao, Qi Sun+2 more|arXiv (Cornell University)|Jun 2, 2018

Neural Networks and Applications参考文献 24被引用数 15

ひとこと要約

本稿では、拡散およびマルコフジャンプ過程を用いて非局所演算をモデル化することで、安定性と深さを向上させる新しい非局所ニューラルネットワークブロックを提案する。訓練済み重み行列の分析を通じて、安定なダイナミクスを保証する負の重みを有する定式化を導出しており、これにより深層ネットワークを構築しつつ長距離特徴の学習を維持できる。

ABSTRACT

Nonlocal neural networks have been proposed and shown to be effective in several computer vision tasks, where the nonlocal operations can directly capture long-range dependencies in the feature space. In this paper, we study the nature of diffusion and damping effect of nonlocal networks by doing spectrum analysis on the weight matrices of the well-trained networks, and then propose a new formulation of the nonlocal block. The new block not only learns the nonlocal interactions but also has stable dynamics, thus allowing deeper nonlocal structures. Moreover, we interpret our formulation from the general nonlocal modeling perspective, where we make connections between the proposed nonlocal network and other nonlocal models, such as nonlocal diffusion process and Markov jump process.

研究の動機と目的

• 訓練済み重み行列のスペクトル解析を通じて、既存の非局所ニューラルネットワークの背後にあるダイナミクスを理解すること。
• 標準的な非局所ブロックにおける不安定性および減衰効果が、スタッキングの深さを制限する理由を解消すること。
• 深層アーキテクチャ向けに安定なダイナミクスを有する新しい非局所ブロック定式化を開発すること。
• 非局所ネットワークと非局所拡散やマルコフジャンプ過程といった既存の非局所モデルとの理論的関係を確立すること。
• 劣化を伴わずに長距離特徴表現を保持できる、頑健でより深い非局所ネットワークを実現すること。

提案手法

• 良好に訓練された非局所ブロックの重み行列に対してスペクトル解析を実施し、減衰および拡散効果を定量化する。
• 非局所拡散プロセスにインspiredされた新しい非局所ブロック定式化を提案し、安定なダイナミクスを実現するため負の重み行列を用いる。
• 新しいブロックを離散時間マルコフジャンプ過程として導出し、カーネル行列 K が列の和が 1 となるようにし、安定性を保証する。
• 非局所演算をヒルベルト＝シュミット作用素として再定式化し、有界性および有限なフロベニウスノルムを保証する。
• 提案されたネットワークと偏微分方程式（PDE）の関係を示し、残差ネットワークに正則化拡散項を導入することを示す。
• 負の係数を用いることで、元の非局所ネットワークのゼロ定常状態問題を回避できることを示す。

実験結果

リサーチクエスチョン

• RQ1 深くスタックされた非局所ニューラルネットワークにおいて、何が減衰および不安定性を引き起こしているのか？
• RQ2 非局所ブロックのダイナミクスをどのように安定化させれば、より深いアーキテクチャを実現できるか？
• RQ3 非局所ニューラルネットワークと非局所拡散またはマルコフジャンプ過程との間の数学的関係は何か？
• RQ4 長距離依存関係を保持しつつ、安定した学習ダイナミクスを保証できる非局所ブロックを設計できるか？
• RQ5 提案された定式化は、元の非局所ブロックと比較して、安定性および表現能力の面でどのように異なるか？

主な発見

• スペクトル解析により、訓練済み非局所ブロックが正の固有値によって強い減衰効果を示し、信号の減衰が生じることを明らかにした。
• 元の非局所ブロックは、非負の類似度関数のため、定常解が Z ≡ 0 となるため、反復処理の過程で特徴が消滅することがある。
• 提案された非局所ブロックは負の重みを用い、数学的に逆方向のマルコフジャンプ過程に相当し、安定なダイナミクスを保証する。
• 提案された定式化におけるカーネル行列 K はマルコフ行列（列の和が 1）であり、ヒルベルト＝シュミット作用素としての有界性が保証される。
• 新しいブロックは、元の定式化の不安定性を回避するため、深層スタッキングが可能となり、長距離特徴の保存が向上する。
• 理論的解析により、提案されたネットワークがPDE解釈において残差ネットワークに正則化拡散項を導入することを示した。