[論文レビュー] On Valid Optimal Assignment Kernels and Applications to Graph Classification

Nils M. Kriege, Pierre-Louis Giscard+1 more|arXiv (Cornell University)|Jun 3, 2016

Machine Learning and Data Classification参考文献 18被引用数 83

ひとこと要約

本稿では、正定値最適割り当てカーネルを保証する強力な基本カーネルのクラスを導入し、効率的かつ有効なグラフ類似度測定を可能にする。最適割り当て計算をヒストグラム積み上げに還元することで、提案されたWeisfeiler-Lehman最適割り当てカーネル（WL-OA）は線形時間計算量を達成し、ベンチマークグラフデータセットにおいて最先端の分類精度を実現。ほとんどのタスクで畳み込みベースのカーネルを上回る性能を発揮する。

ABSTRACT

The success of kernel methods has initiated the design of novel positive semidefinite functions, in particular for structured data. A leading design paradigm for this is the convolution kernel, which decomposes structured objects into their parts and sums over all pairs of parts. Assignment kernels, in contrast, are obtained from an optimal bijection between parts, which can provide a more valid notion of similarity. In general however, optimal assignments yield indefinite functions, which complicates their use in kernel methods. We characterize a class of base kernels used to compare parts that guarantees positive semidefinite optimal assignment kernels. These base kernels give rise to hierarchies from which the optimal assignment kernels are computed in linear time by histogram intersection. We apply these results by developing the Weisfeiler-Lehman optimal assignment kernel for graphs. It provides high classification accuracy on widely-used benchmark data sets improving over the original Weisfeiler-Lehman kernel.

研究の動機と目的

• 最適割り当てカーネルが正定値（p.s.d.）であることを保証する条件を特定すること。これにより、カーネル法への適用が有効になる。
• 割り当てベースのグラフカーネルにおける不定値類似度測定の制限を解消し、これにより標準的なカーネル法が利用可能になるようにすること。
• ブルートフォースによる割り当て評価の階乗的複雑性を回避する、最適割り当てカーネルの効率的計算手法を開発すること。
• Weisfeiler-Lehman頂点ラベル化スキームと有効な最適割り当てカーネルを組み合わせた、新たなグラフカーネルWL-OAを設計し、分類性能を向上させること。
• 最適割り当てカーネルが畳み込みカーネルを上回りながらも、計算の実行可能性を維持できることを示すこと。

提案手法

• ドメインの階層的分割から導かれるカーネルと同等である「強力カーネル」と呼ばれる基本カーネルのクラスを特徴付ける。
• 強力な基本カーネルから構築された最適割り当てカーネルが正定値であることを証明し、カーネル法への適用が有効であることを保証する。
• 最適割り当てカーネルの計算をヒストグラム積み上げに還元し、既知の最適化手法を用いて線形時間評価を可能にする。
• グラフにこのフレームワークを適用する際、基本カーネルとしてWeisfeiler-Lehman頂点ラベル化スキームを用い、Weisfeiler-Lehman最適割り当てカーネル（WL-OA）を導出する。
• 階層的ラベルヒストグラムを整列させることで、グラフ間の最適割り当て類似度をヒストグラム積み上げを用いて計算する。
• 既存手法との比較のためのランドマークベース表現を用い、標準的なカーネル分類パイプラインとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのクラスの基本カーネルが、その結果として得られる最適割り当てカーネルが正定値であることを保証するか？
• RQ2 最適割り当てカーネルは、カーネル法への有効性を保ちつつ、効率的に計算可能か？
• RQ3 最適割り当てアプローチは、分類精度において畳み込みベースのグラフカーネルを上回ることができるか？
• RQ4 提案手法は、既存の最適割り当てまたは畳み込みカーネル手法と比較して、計算効率を維持できるか？
• RQ5 強力カーネルの階層的構造を活用して、線形時間複雑度を持つ効果的なグラフカーネルを設計できるか？

主な発見

• 強力な基本カーネルのクラスは、その結果として得られる最適割り当てカーネルが正定値であることを保証する。これにより、カーネル法への適用が有効となる。
• 強力カーネルに基づく最適割り当てカーネルは、ヒストグラム積み上げを用いて線形時間で計算可能であり、ハンガリアン法の階乗的複雑性を回避できる。
• 提案されたWeisfeiler-Lehman最適割り当てカーネル（WL-OA）は、9つのベンチマークグラフデータセットのうち7つで最高の分類精度を達成した。
• Redditでは、オリジナルのWeisfeiler-Lehmanカーネルが80.8%の精度を示すのに対し、WL-OAは89.3%の精度を達成し、顕著な向上を示した。
• Enzymesでは、WL-OAが59.9%の精度を達成し、次に良い結果を示したSP（42.6%）を大きく上回り、複雑なグラフ構造において優れた性能を発揮した。
• すべてのカーネル、包括してWL-OAのカーネル行列計算は、1データセットあたり1分未満で完了した。D&DとRedditを除き、SPはそれぞれ29分と2時間かかったが、提案手法がスケーラブルで効率的であることを示している。