[論文レビュー] The optimal assignment kernel is not positive definite

Jean‐Philippe Vert|ArXiv.org|Jan 26, 2008

Machine Learning and Algorithms参考文献 5被引用数 49

ひとこと要約

この論文は、部分構造の最適マッチングを用いたラベル付きグラフや構造化データの比較のための最適割当カーネルが、常に正定値ではないことを示しており、以前の主張と矛盾している。ガウスカーネルに基づく部分構造が正方形を形成する反例を用いて、得られるグラム行列が負の固有値をとることを示し、ヒルバート空間埋め込みが無効であることを示し、カーネル法における理論的基盤に疑問を呈している。

ABSTRACT

We prove that the optimal assignment kernel, proposed recently as an attempt to embed labeled graphs and more generally tuples of basic data to a Hilbert space, is in fact not always positive definite.

研究の動機と目的

• ラベル付きグラフや構造化データに対する最適割当カーネルが正定値カーネルとして理論的に有効であるかを調査すること。
• 以前の主張による正定値性と、特定の状況下でのカーネルの実際の挙動との矛盾を解消すること。
• 標準的な条件下でカーネルが正定値でなくなる可能性を示す厳密な反例を提供すること。
• カーネル法におけるカーネルの使用時にグラム行列に負の固有値が生じる可能性があるため、研究者に注意喚起すること。

提案手法

• 著者らは、最適割当カーネルを、2つのタプルの部分構造間のペアワイズカーネル値の合計の最大値として定義し、ハンガリアン法を用いて計算する。
• 正定値かつ非負のガウスラジアルベース関数カーネル（k₁(x,y) = exp(−γ||x−y||²)）を用いた反例を構築する。
• これらの点のすべての異なるペアからなる6つの2タプルを形成し、それらの間のカーネル値を最適割当形式を用いて計算する。
• 距離の公式 d(x,y)² = k(x,x) + k(y,y) − 2k(x,y) を用いてヒルバート空間埋め込みの条件をテストし、幾何的不整合を明らかにする。
• 正方形配置における期待されるユークリッド距離と一致しない、対角ペア（AB,CD）間の距離が計算されることにより、非埋め込み性が示される。
• ヒルバート空間における内積構造が満たされないため、カーネルは正定値ではありえないという結論に至る。

実験結果

リサーチクエスチョン

• RQ1 最適割当カーネルは、ラベル付きグラフや構造化データに対して常に正定値か？
• RQ2 正定値ベースカーネルを用いても、カーネルが正定値でなくなる反例を構築できるか？
• RQ3 最適割当カーネルにおけるヒルバート空間埋め込みの失敗の幾何的根拠は何か？
• RQ4 先行研究（例：[2]）における正定値性の証明に論理的誤りがあるのはなぜか？
• RQ5 グラム行列における負の固有値がカーネル法の性能に及ぼす影響はどの程度か？

主な発見

• 最適割当カーネルは、R²における4点とガウスベースカーネルを用いた反例により、常に正定値ではないことが示された。
• 反例では、6つの2タプル間のカーネル値が、ヒルバート空間における三角不等式を破る幾何的配置を生じさせ、非埋め込み性を示唆している。
• 矛盾は、対角ペア（AB,CD）間の距離が正方形配置における期待される距離と一致しないことによって生じており、d(AB,CD)² = 4−4a であるのに対し、正方形では 4−4a² が期待される。
• 文献[2]における正定値性の主張は、論理的誤りのため誤りである：A≤B かつ A<0 から B<0 を結論づけるのは誤りである。
• カーネルは実用的に有用であるが、負の固有値が生じる可能性があり、例えばグラム行列を正定値行列の凸集合に射影するなどの注意深い処理が必要である。
• 本結果は、特にカーネル法に関する理論的仮定や誤りの累積的伝播に注意を払う必要があることを強調している。