[論文レビュー] Graph Construction from Data using Non Negative Kernel regression (NNK Graphs)

Sarath Shekkizhar, Antonio Ortega|arXiv (Cornell University)|Oct 21, 2019

Advanced Graph Neural Networks参考文献 34被引用数 11

ひとこと要約

本稿では、核空間におけるスパース信号近似として定式化することで、頑健で解釈可能なグラフを生成するデータ駆動型グラフ構築手法として、非負核回帰（NNK）を提案する。NNKは半教師あり学習において最先端の手法を上回り、スパースネスハイパーパrameter $K$ への感受性が低減している。

ABSTRACT

Data driven graph constructions are often used in various applications, including several machine learning tasks, where the goal is to make predictions and discover patterns. However, learning an optimal graph from data is still a challenging task. Weighted $K$-nearest neighbor and $\epsilon$-neighborhood methods are among the most common graph construction methods, due to their computational simplicity but the choice of parameters such as $K$ and $\epsilon$ associated with these methods is often ad hoc and lacks a clear interpretation. We formulate graph construction as the problem of finding a sparse signal approximation in kernel space, identifying key similarities between methods in signal approximation and existing graph learning methods. We propose non-negative kernel regression~(NNK), an improved approach for graph construction with interesting geometric and theoretical properties. We show experimentally the efficiency of NNK graphs, its robustness to choice of sparsity $K$ and better performance over state of the art graph methods in semi supervised learning tasks on real world data.

研究の動機と目的

• K-NN や $\epsilon$-近傍法などの従来のグラフ構築手法における、恣意的で解釈性に欠けるハイパーパrameter（例：$K$、$\epsilon$）の選定という課題に対処する。
• 核空間におけるスパース信号近似問題としてグラフ構築を定式化することで、既存のアプローチを統合・改善する。
• データから重み付きグラフを構築する理論的裏付けが強く、幾何学的に意味のある方法を開発する。
• 得られたグラフを用いて、半教師あり学習タスクにおける頑健性と性能を向上させる。
• 明確な解釈性と安定性を備えた、ヒューリスティックなグラフ構築手法に対する原理的代替手法を提供する。

提案手法

• 非負制約を用いて、核誘導された特徴空間におけるデータポイントのスパース表現を求める形で、グラフ構築を定式化する。
• 非負核回帰（NNK）を適用して、各データポイントに対して最も関連性の高い近傍を同定し、スパarsityと非負性を保証する。
• カーネル関数を用いて高次元の特徴空間における類似度を測定し、柔軟で非線形なパターンを捉える。
• 非負制約を伴う最適化により、最も関連性の高い $K$ 個の近傍のみを選択することでスパarsityを強制する。
• NNKフレームワークにおける回帰係数から導かれるエッジ重みを用いて、重み付きグラフを構築する。
• 核空間とスパース近似の性質を活用することで、幾何学的整合性と解釈可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構築をどのようにして核空間におけるスパース信号近似問題として体系的に定式化できるか？
• RQ2 非負核回帰から導かれるグラフ構築手法の幾何学的および理論的性質は何か？
• RQ3 NNKによるグラフ構築は、従来の $K$-NN や $\epsilon$-近傍法と比較して、ハイパーパrameter選択に対する頑健性に優れているか？
• RQ4 NNKグラフは実世界のデータセットにおける半教師あり学習タスクでどの程度の性能を示すか？
• RQ5 NNKグラフは最先端のグラフ学習手法と比較して、より優れた一般化性能と安定性を達成できるか？

主な発見

• NNKグラフは、実世界のデータにおける半教師あり学習タスクにおいて、最先端のグラフ構築手法を上回る優れた性能を示す。
• 本手法はスパースネスパラメータ $K$ の選択に対して高い頑健性を示し、従来のアプローチと比較して感受性が低減している。
• NNKグラフは原理的信号近似フレームワークから導かれており、ヒューリスティックな $K$-NN や $\epsilon$-近傍法と比較して、はるかに明確な解釈性を有している。
• 核空間におけるグラフ構築の枠組みにより、線形または固定近傍法よりも複雑な非線形関係をより効果的に捉えている。
• 回帰プロセスにおける非負制約により、物理的に意味のある安定したエッジ重みが保証され、モデルの信頼性が向上している。
• 実験的結果により、NNKグラフが複数のベンチマークデータセットで一貫した予測精度の向上をもたらすことが確認された。