[論文レビュー] Unsupervised Deep Haar Scattering on Graphs

Xu Chen, Xiuyuan Cheng+1 more|arXiv (Cornell University)|Jun 9, 2014

Topological and Geometric Data Analysis参考文献 19被引用数 20

ひとこと要約

本稿では、信号の変動からマルチスケールのグラフ幾何を学習し、加算、減算、絶対値の深い段階的組み合わせを通じて不変表現を計算する、グラフ構造データ向けの非教師あり深層ハールスキャattering変換を提案する。この手法は、平均全変動を最小化するように多項式時間のペアマッチングにより接続されたマルチスケールの近傍を推定し、事前の幾何的知識がなくても、ねじれた画像や球面上の不規則なサンプリング信号において最先端の性能を達成する。

ABSTRACT

The classification of high-dimensional data defined on graphs is particularly difficult when the graph geometry is unknown. We introduce a Haar scattering transform on graphs, which computes invariant signal descriptors. It is implemented with a deep cascade of additions, subtractions and absolute values, which iteratively compute orthogonal Haar wavelet transforms. Multiscale neighborhoods of unknown graphs are estimated by minimizing an average total variation, with a pair matching algorithm of polynomial complexity. Supervised classification with dimension reduction is tested on data bases of scrambled images, and for signals sampled on unknown irregular grids on a sphere.

研究の動機と目的

• 事前にグラフ構造の幾何が与えられない、未知または不規則なグラフ構造上の信号を分類する課題に対処すること。
• ノードの再配置やデータのシフトといった信号のずれに対して頑健な、深層的かつ置換不変な表現を開発すること。
• 教師なしで、トレーニング信号全体の平均全変動を最小化することで、マルチスケールのグラフ近傍を推定すること。
• ラベル付きグラフ構造を必要とせず、スキャattering特徴の次元削減を用いて教師あり分類を可能にすること。
• 実世界のデータ、たとえばねじれた画像や球面上の信号において、本手法の有効性を示すこと。

提案手法

• ハールスキャattering変換は、置換不変な演算子の深層ネットワークとして実装される：各係数ペアに対して、和と絶対差を計算する。(α, β) → (α+β, |α−β|)。
• 変換は複数スケールにわたり再帰的に適用され、各層が信号の粗い、より不変な表現を表す階層的分解を形成する。
• マルチスケールの近傍は、トレーニング例全体の信号の平均全変動を最小化するペアマッチング問題を解くことで推定され、多項式時間のアルゴリズムが用いられる。
• 得られたスキャattering係数は、局所的な信号ずれに対して不変であり、グラフ上のマルチスケール構造的パターンを捉える。
• 次元削減は、教師あり部分最小二乗回帰を用いて、情報量の多い特徴を選択した後、ガウスカーネルSVM分類器を適用することで実施される。
• 本手法はグラフトポロジーの事前知識を一切必要とせず、信号の変動のみからその下位の接続性を学習する。

実験結果

リサーチクエスチョン

• RQ1 教師なしの深層アーキテクチャは、グラフ構造の事前知識がなくとも、信号の変動のみから意味のあるグラフ幾何を学習できるか？
• RQ2 ハールスキャattering変換は、未知のグラフ上の信号に対して不変な表現を生成するのにどの程度有効か？
• RQ3 多項式時間の複雑さで全変動最小化を用いて、マルチスケール近傍をどの程度正確に推定できるか？
• RQ4 ねじれた画像および球面上の信号データにおいて、非教師ありハールスキャatteringの性能は教師ありベースラインと比べてどの程度優れているか？
• RQ5 本手法は、幾何的事前知識がなくとも、不規則で非一様なサンプリング領域（例：球面）に一般化可能か？

主な発見

• ねじれたMNIST画像では、ハールスキャattering手法がテスト誤差率27.3%を達成し、Fastfood（36.9%）やRandom Kitchen Sinks（37.6%）を顕著に上回った。
• 真の画像幾何が分かっている場合、誤差率は21.3%に低下し、完全な幾何情報が利用可能な場合の本手法の潜在的性能を示した。
• 幾何が不明なCIFAR-10画像では、次元削減後に21.3%の誤差率を達成し、ベースラインの非教師あり手法を上回った。
• 球面上でランダムに回転させた信号に対しては、小回転では誤差率2.2%、大回転では47.7%にまで低下し、最近傍法や全結合ネットワークを上回った。
• 推定されたマルチスケール集合は非常に接続性が高く、細かいスケールで92%から97%の集合が接続されていた。これは、幾何学的学習の有効性を裏付けた。
• 本手法は、幾何的事前知識を一切使用せず、信号の変動パターンのみに依存して、画像および球面上信号データの両方で最先端の性能を達成した。