[論文レビュー] Unifying local and non-local signal processing with graph CNNs

Gilles Puy, Srđan Kitić+1 more|arXiv (Cornell University)|Feb 24, 2017

Advanced Graph Neural Networks参考文献 17被引用数 15

ひとこと要約

本論文は、信号とそのグラフ構造の両方を入力として受け取り、動的グラフトポロジーに適応する学習を可能にする、局所的および非局所的信号処理を統合するグラフ畳み込みニューラルネットワーク（GCNN）フレームワークを提案する。この手法は、画像および音声のノイズ除去において最先端の性能を達成し、局所的CNNに比べてPSNRを0.29 dB、SNRを0.35 dB向上させ、2つの浅いネットワークのみを用いてエンドツーエンドのスタイル転送を実現する。

ABSTRACT

This paper deals with the unification of local and non-local signal processing on graphs within a single convolutional neural network (CNN) framework. Building upon recent works on graph CNNs, we propose to use convolutional layers that take as inputs two variables, a signal and a graph, allowing the network to adapt to changes in the graph structure. In this article, we explain how this framework allows us to design a novel method to perform style transfer.

研究の動機と目的

• 動的グラフ構造に適応可能な単一のGCNNフレームワーク内で、局所的および非局所的信号処理を統合すること。
• 標準的なCNNが不規則なグラフや信号内の非局所的依存関係を処理できないという制限を克服すること。
• 多様な信号処理タスクに適した、局所的および非局所的処理の最適混合をエンドツーエンドで学習可能にすること。
• 最小限のネットワーク深さで、画像および音声のノイズ除去、および画像スタイル転送において、フレームワークの有効性を示すこと。

提案手法

• 信号とそのグラフ構造の両方を入力とするGCNNアーキテクチャを提案し、グラフトポロジーの変化に適応できるようにする。
• グラフラプラシアン上で作用する学習可能なフィルタを用いてグラフ畳み込みを定義し、局所的および非局所的受容 field を両方実現する。
• 信号そのものから類似性に基づくグラフを構築する非局所層を導入し、長距離依存関係を捉える。
• 2段階の訓練戦略を採用：まず局所ネットワークを事前学習し、その後非局所層をアーキテクチャに追加して微調整する。
• 信号類似性に基づく非局所グラフのパrameterizationを採用し、適応的重み付けにための学習可能なパrameter α と β を導入する。
• 画像および音声のノイズ除去とスタイル転送にこのフレームワークを適用し、深層アーキテクチャに代わって2つの浅いネットワークのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 単一のGCNNフレームワークが、グラフ上での局所的および非局所的信号処理を効果的に統合できるか？
• RQ2 GCNNは、信号類似性から導かれるような、動的または信号依存のグラフ構造にどのように適応できるか？
• RQ3 提案されたフレームワークは、最小限のネットワーク深さで、信号復元タスクにおいて競争力のある性能を達成できるか？
• RQ4 局所的および非局所的処理の最適バランスをエンドツーエンドで学習できる程度はどの程度か？

主な発見

• 非局所GCNNは、局所CNNに比べて画像ノイズ除去性能をPSNRで0.29 dB向上させ、テストセットでは29.42 dBに達した。
• 非局所GCNNは音声ノイズ除去で8.79 dBのSNRを達成し、局所CNN（8.44 dB）およびウェーブレットソフトスレッショーディング（5.80 dB）を上回った。
• フレームワークは、深層で事前学習されたモデルを必要とせず、2つの浅いネットワークのみで効果的な画像スタイル転送を実現した。
• 訓練済みネットワークの解析層および合成層からの特徴マップは、ウェーブレットフィルタに類似しており、学習されたスパース表現を示している。
• 解析層および合成層のフィルタはほぼ互いに随伴的（adjoint）であり、辞書学習の原則と整合的である。
• 非局所層の導入により、最初の層で学習されるフィルタパターンに顕著な変化が生じず、特徴学習の安定性が示された。