[論文レビュー] Harmonic analysis on directed graphs and applications: from Fourier analysis to wavelets

Harry Sevi, Gabriel Rilling+1 more|arXiv (Cornell University)|Nov 28, 2018

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、ランダムウォーク作用素の固有ベクトルを非直交フーリエ基底として用い、ディリクレエネルギーと固有値の実部による周波数解釈を伴う、有向グラフのための新規な調和解析フレームワークを提案する。これは、非対称性のため従来のグラフラプラシアンが機能しない有向グラフにおけるフーリエ型解析を実現し、拡散ウェーブレットを有向グラフへと拡張することで、重複ありおよびデシメート済みウェーブレット変換を可能にし、米国政治ブログのような有向グラフにおける半教師付き学習および信号モデリングにおいて優れた性能を示す。

ABSTRACT

We introduce a novel harmonic analysis for functions defined on the vertices of a strongly connected directed graph of which the random walk operator is the cornerstone. As a first step, we consider the set of eigenvectors of the random walk operator as a non-orthogonal Fourier-type basis for functions over directed graphs. We found a frequency interpretation by linking the variation of the eigenvectors of the random walk operator obtained from their Dirichlet energy to the real part of their associated eigenvalues. From this Fourier basis, we can proceed further and build multi-scale analyses on directed graphs. We propose both a redundant wavelet transform and a decimated wavelet transform by extending the diffusion wavelets framework by Coifman and Maggioni for directed graphs. The development of our harmonic analysis on directed graphs thus leads us to consider both semi-supervised learning problems and signal modeling problems on graphs applied to directed graphs highlighting the efficiency of our framework.

研究の動機と目的

• 非対称性のため従来のグラフラプラシアンが機能しない有向グラフ上の関数に対して、フーリエ型解析を構築すること。
• 有向グラフにおける一貫した周波数解釈の欠如を解消するため、ランダムウォーク作用素の固有ベクトルの変動（ディリクレエネルギーを介して）を、その固有値の実部と関連付けること。
• 非対称作用素に一般化された拡散ウェーブレットフレームワークを用いて、有向グラフへの多スケール解析（ウェーブレット）を拡張すること。
• 提案されたフレームワークが、実際の応用分野（例：半教師付き学習および実際の有向ネットワーク上のグラフ信号モデリング）において有効であることを示すこと。
• 無向グラフ解析の主要な性質（周波数解釈および多スケール解析）を保ちつつ、有向グラフにおけるグラフ信号処理の基盤を構築すること。

提案手法

• 強い連結性を持つ有向グラフ上で定義されたランダムウォーク作用素を、コアとなる基準作用素として採用し、対称的グラフラプラシアンに代える。
• 各ランダムウォーク作用素の固有ベクトルのディリクレエネルギーを、その固有値の実部と関連付けることで周波数解釈を定義する。
• ランダムウォーク作用素の固有ベクトルからなる非直交フーリエ基底を構築し、有向グラフ上のスペクトル解析を可能にする。
• ヒートカーネルに基づくフィルタを用いて、拡散ウェーブレットフレームワークを有向グラフへと拡張することで、重複ありおよび臨界サンプリング済みウェーブレット変換を開発する。
• ヒートカーネルを用いた合成フィルターバンクを実装する：$\mathbf{H}_j = e^{-\mathcal{L}t_j}$ かつ $t_j = 2^j$、帯域通過フィルタ $\mathbf{G}_j = \mathbf{H}_{j-1} - \mathbf{H}_j$。
• 冗長ウェーブレット係数を用いた $\ell_1$-正則化による波形係数最適化により、半教師付き学習を実装する：$\boldsymbol{w}^* = \arg\min \|\tilde{\mathbf{y}} - \mathbf{X}\mathbf{w}\|_2^2 + \lambda\|\mathbf{w}\|_1$、ここで $\mathbf{X} = \mathbf{M}\mathbf{K}$。

Figure 1: Eigenvalue distribution of the random walk matrix of a directed toroidal graph $\mathcal{T}_{6,4}$ . Eigenvalues on the dotted green line: $\mathfrak{Re}(\lambda^{g})=-0.25,\forall\lambda^{g}\in\boldsymbol{\Lambda}_{g}$ . Eigenvalues on the dotted orange line: $\mathfrak{Re}(\lambda^{o})=0

実験結果

リサーチクエスチョン

• RQ1 非対称ラプラシアンが存在する有向グラフ上での関数に対して、一貫した周波数解釈を確立できるか？
• RQ2 有向グラフ上のランダムウォーク作用素の固有ベクトルを、意味的なフーリエ型基底として定義する方法は何か？
• RQ3 拡散ウェーブレットフレームワークは、有向グラフ上の非対称作用素へどの程度一般化可能か？
• RQ4 提案された調和解析フレームワークは、有向グラフにおける半教師付き学習タスクで、既存手法を上回る性能を示すか？
• RQ5 ウェーブレット表現のスパarsityは、有向グラフ上での信号回復およびラベル付けタスクの性能にどのように影響するか？

主な発見

• 有向グラフ上のランダムウォーク作用素の固有ベクトルのディリクレエネルギーは、その固有値の実部と相関しており、周波数解釈を可能にする。
• ランダムウォーク作用素の固有ベクトルは、有向グラフ上の関数に対して非直交フーリエ型基底を形成し、古典的フーリエ解析を有向構造へと一般化する。
• ヒートカーネルフィルタを用いて拡散ウェーブレットフレームワークを有向グラフへ拡張することで、重複ありおよび臨界サンプリング済みウェーブレット変換を成功裏に構築した。
• $\ell_1$-正則化による半教師付き学習の定式化において、米国政治ブログネットワーク上での $\ell_2$-正則化手法と比較して競争力のある性能を達成した。
• ウェーブレットの空間局在性が限定的であったにもかかわらず、$\ell_1$-ベースのアプローチは強力な性能を示し、より局在性の高い変換が開発されればさらなる向上が期待できる。
• 本フレームワークは、米国政治ブロググラフを含む実際の有向ネットワークで検証され、さまざまなラベル割合において実用的で頑健な性能を示した。

Figure 3: Semi-supervised learning on $\mathcal{G}^{\prime}$ of the political blogs of the 2004 US presidential campaign. The notations $\operatorname{L_{norm}}$ and $\operatorname{L_{norm,sym}}$ correspond respectively to $\mathcal{L}$ and $\mathcal{L}_{\operatorname{sym}}$ .