[論文レビュー] Generalizing the Convolution Operator to extend CNNs to Irregular Domains

J Vialatte, Vincent Gripon+1 more|arXiv (Cornell University)|Jun 3, 2016

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 21

ひとこと要約

本稿では、グラフに基づく構造を用いて、標準的な畳み込みの線形性、局所性、重み共有の特性を保持しつつ、CNNを不規則なドメインに一般化する一般化された畳み込み演算子を提案する。この手法は、歪んだMNISTデータセットにおいてMLPを上回る性能を発揮するとともに、規則的なグリッド上では標準的な畳み込みを正確に再現する。

ABSTRACT

Convolutional Neural Networks (CNNs) have become the state-of-the-art in supervised learning vision tasks. Their convolutional filters are of paramount importance for they allow to learn patterns while disregarding their locations in input images. When facing highly irregular domains, generalized convolutional operators based on an underlying graph structure have been proposed. However, these operators do not exactly match standard ones on grid graphs, and introduce unwanted additional invariance (e.g. with regards to rotations). We propose a novel approach to generalize CNNs to irregular domains using weight sharing and graph-based operators. Using experiments, we show that these models resemble CNNs on regular domains and offer better performance than multilayer perceptrons on distorded ones.

研究の動機と目的

• IoTセンサの測定値や非一様な空間信号など、不規則な構造を持つデータを処理できない標準CNNの限界を解決すること。
• スペクトラルグラフベースの畳み込みに起因する欠点、特に局所性の喪失や不適切な回転不変性を克服すること。
• CNNの不変性と効率性を維持しつつ、任意のグラフ埋め込みデータに適用可能な畳み込み演算子を開発すること。
• 一般化された演算子が規則的なグリッド上では標準畳み込みに還元されることを保証し、既存のCNNアーキテクチャへのシームレスな統合を可能にすること。
• 事前に定義された多様体や複雑な座標系を必要とせず、不規則なドメインにおいてMLPを上回る性能を示すことを実証すること。

提案手法

• 各ノードが埋め込みユークリッド空間内のデータポイントに対応するグラフ構造の入力ドメインを定義し、エッジは近隣関係を表す。
• 隣接ノード間の相対的位置に依存する重み割り当てマップを用いて、局所的かつ重み共有された畳み込みを構築する。
• 隣接ノード間の距離に適用される学習可能なカーネル関数に基づいて重みを決定する加重和として、一般化された畳み込みを定式化する。
• ReLU活性化関数、パッチサイズ $2\mu$ のマックスプーリング、ソフトマックス出力を持つ全結合層を用いて、CNNに類似したアーキテクチャに統合する。
• Nesterovのモーメンタムを用いた確率的勾配降下法とL2正則化を用いてモデルを訓練し、ベースラインMLPとパラメータ数を同一に保つ。
• ヘイジアン積と行列転置を用いて、一般化された畳み込み層の逆誤差伝搬ルール（入力特徴、重み、バイアスに関する勾配）を導出する。

実験結果

リサーチクエスチョン

• RQ1 標準CNNのコアな特性（局所性、線形性、重み共有）を保持しつつ、不規則なドメインに畳み込み演算子を一般化することは可能か？
• RQ2 歪んだMNIST画像のような不規則な構造を持つデータにおいて、一般化されたCNNの性能は標準MLPと比べてどうか？
• RQ3 本手法の演算子が規則的なグリッド上では標準畳み込みに還元されるか。これにより、既存のCNNモデルとの後方互換性が保証されるか？
• RQ4 スペクトラルグラフ手法に見られる不適切な対称性（例：回転不変性）を回避し、空間的不変性をどの程度維持できるか？
• RQ5 本手法の一般化された畳み込みは、IoTセンサネットワークや脳画像データなど、任意のグラフ構造を持つ実世界のデータに効果的に適用可能か？

主な発見

• 歪んだMNISTデータセットにおいて、同じパラメータ数のMLPと比較して、本一般化CNNは誤差率が低く抑えられ、歪度が200μに達する高歪度領域でも同様の傾向を示す。
• 歪みのない（規則的な）MNISTデータでは、ゼロパディングを用いた標準CNNと同等の性能を達成しており、規則的グリッド上での古典的畳み込みと同等であることを確認した。
• スペクトラルグラフ畳み込み手法が示す非局所的挙動を回避し、特に不規則なグラフ上でも局所性を維持している。
• 提案された演算子により、異なるグラフ構造間でも重み共有が可能となり、同じ空間に埋め込まれた入力に対して、基盤となるグラフトポロジーに依存しないフィルタの一般化が可能である。
• スペクトラルベースのグラフCNNと比較して、本手法はドメインの歪みに対して優れた不変性を示しており、余分な回転対称性を導入しない。
• ヘイジアン積と行列転置を用いた閉形式の勾配表現により、一般化された畳み込み層における逆誤差伝搬が効率的に計算可能である。