[論文レビュー] Convolutional neural networks on irregular domains based on approximate vertex-domain translations

Bastien Pasdeloup, Vincent Gripon+3 more|arXiv (Cornell University)|Oct 27, 2017

Advanced Graph Neural Networks参考文献 13被引用数 5

ひとこと要約

本論文は、グラフ上の近似的な頂点ドメイン翻訳を定義することにより、畳み込みニューラルネットワーク（CNNs）を不規則なドメインに一般化する新規な手法を提案する。これにより、スペクトル的手法やヒューリスティックに依存せずに、真の重み共有と翻訳等変性を実現する。この手法はfMRIデータにおいて競争力ある性能を発揮し、MLPを上回り、ChebNetと同等の性能を示す。同時に、グリッド構造データにおける古典的CNNの誘導的バイアスを保持する。

ABSTRACT

We propose a generalization of convolutional neural networks (CNNs) to irregular domains, through the use of a translation operator on a graph structure. In regular settings such as images, convolutional layers are designed by translating a convolutional kernel over all pixels, thus enforcing translation equivariance. In the case of general graphs however, translation is not a well-defined operation, which makes shifting a convolutional kernel not straightforward. In this article, we introduce a methodology to allow the design of convolutional layers that are adapted to signals evolving on irregular topologies, even in the absence of a natural translation. Using the designed layers, we build a CNN that we train using the initial set of signals. Contrary to other approaches that aim at extending CNNs to irregular domains, we incorporate the classical settings of CNNs for 2D signals as a particular case of our approach. Designing convolutional layers in the vertex domain directly implies weight sharing, which in other approaches is generally estimated a posteriori using heuristics.

研究の動機と目的

• ユークリッド空間における翻訳が定義されない、脳のfMRI信号のような不規則なドメインにCNNを一般化すること。
• グラフ上に明確な翻訳作用素が存在しないため、古典的CNN設計原則の直接適用が困難であるという問題に対処すること。
• スペクトル的手法で用いられるヒューリスティックな重み再割り当てを避けるために、単一のカーネルを頂点間で明示的に翻訳することで重み共有を強制する手法の開発。
• グリッド構造データにおける標準的な2次元CNNが、提案フレームワークの特別な場合として回復されることを保証し、古典的CNNの誘導的バイアスを維持すること。
• 空間的構造と局所的パターンが重要な、実世界の不規則データ（例：機能的脳ネットワーク）において、手法の有効性を実証すること。

提案手法

• グラフ上で、異なる頂点間で畳み込みカーネルの形状を保持する単射写像を特定することにより、頂点ドメインにおける近似的な翻訳を定義する。
• 翻訳作用素を用いて、1つの学習済みカーネルをすべての頂点に体系的にシフトさせ、畳み込み層におけるカーネル重みをエッジと直接関連付ける。
• 畳み込み層は、カーネルを各頂点に翻訳し、隣接ノードの局所的重み付き和を計算することで構築され、標準的なCNN操作を模倣する。
• スペクトル分解やカーネル再推定を避ける一方で、グラフ上の構造的翻訳により等変性を強制する。
• 元のグラフが正則なグリッドである場合、フレームワークは標準的な2次元CNNを自然に含む。
• 翻訳メカニズムにより、すべての頂点位置で重みを共有する形で、標準的なバックプロパゲーションを用いたエンドツーエンドのCNN学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 不規則なグラフ上に、画像におけるユークリッド空間の翻訳に類似した、明確な翻訳作用素を構築できるか。これにより、グラフCNNにおける真の重み共有が可能になるか？
• RQ2 スペクトルベースの手法（例：ChebNet）と比較して、提案手法の性能と誘導的バイアスはどのように異なるか？
• RQ3 グリッド構造データに適用した場合に、標準的な2次元CNNが特別なケースとして回復されることにより、古典的CNNの誘導的バイアスが保持されるか？
• RQ4 実世界の不規則データ（例：人間の脳からのfMRI信号）において、本手法が競争力ある性能を発揮できるか？
• RQ5 カーネルサポート（すなわち、ホップ数）の選択が、より大きな受容 field を持つ手法と比較して分類精度に与える影響はいかほどか？

主な発見

• 提案手法は、グラフ $σ_{geo}$ を用いてHaxby fMRIデータセットで平均52.8%の精度を達成し、マルチレイヤーパーセプトロン（MLP）や単純なベースライン分類器を顕著に上回った。
• ChebNet（チビシェフ多項式フィルタを用い、受容 field が大きい）と同等の性能を示した。これは、性能差が根本的な手法的方針の違いではなく、受容 field のサイズに起因している可能性を示唆している。
• グラフが正則なグリッドである場合、提案手法は標準的な2次元CNNを特別なケースとして正確に再構築でき、古典的CNN設計との整合性が検証された。
• 提案手法とChebNetとの間の性能差は顕著ではなく、より大きなカーネルサポートやより優れたカーネル形状設計により、さらなる改善が期待できる。
• 実験では、被験者間で安定した性能を示し、全被験者における平均精度が提案手法で49.9%、ベースラインMLPで38.9%に達した。
• 著者らは、本手法の強みが局所的構造と方向性を保存することにあり、意味のある局所幾何構造を持つ多様体上では、既存手法を上回る可能性があると観察している。