[論文レビュー] Spectral Analysis of Symmetric and Anti-Symmetric Pairwise Kernels

Tapio Pahikkala, Markus Viljanen+2 more|arXiv (Cornell University)|Jun 19, 2015

Face and Expression Recognition参考文献 15被引用数 3

ひとこと要約

本稿は、対称および反対称なペアワイズカーネルのスペクトル解析を提供し、カーネルの有効次元を低減し、元のカーネルに基づいて変換されたカーネルの正則化バイアスを束縛することを示している。主な貢献は、対称性または反対称性を強制しても近似性能が損なわれない理論的保証を提示している点であり、学習効率の向上が可能である可能性を示している。

ABSTRACT

We consider the problem of learning regression functions from pairwise data when there exists prior knowledge that the relation to be learned is symmetric or anti-symmetric. Such prior knowledge is commonly enforced by symmetrizing or anti-symmetrizing pairwise kernel functions. Through spectral analysis, we show that these transformations reduce the kernel's effective dimension. Further, we provide an analysis of the approximation properties of the resulting kernels, and bound the regularization bias of the kernels in terms of the corresponding bias of the original kernel.

研究の動機と目的

• 元のカーネルから導かれる対称および反対称なペアワイズカーネルのスペクトル的性質を分析すること。
• 対称化および反対称化がペアワイズカーネルの有効次元に与える影響を調査すること。
• 変換されたカーネルの正則化バイアスを元のカーネルのバイアスに関して束縛すること。
• 対称および反対称カーネルの近似特性に関する理論的保証を確立すること。

提案手法

• 本稿は、ペアワイズカーネルに関連する積分作用素のスペクトル解析を採用し、固有値および固有関数に焦点を当てる。
• 対称化および反対称化カーネルは、元のカーネル K に作用する射影作用素 S および A を用いて定義される。
• カーネルの有効次元は、作用素 (T_K + λI)^{-1} のトレースを用いて分析され、カーネルの容量を定量化する。
• チョイの不等式、カジソンの不等式、およびカントロビッチ型不等式などの行列不等式を用いて、元のカーネルのスペクトル的性質に基づいて正則化バイアスを束縛する。
• 入力空間がコンパクトで、カーネルが連続的であり、X 上に測度 μ が存在し、すべての関数が L²(𝒳, μ) に属すると仮定する。
• Löwner-Heinz の定理および有界作用素上の正のユニタル線形写像の性質を用いて理論的バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズカーネルの対称化または反対称化は、その有効次元にどのように影響するか？
• RQ2 元のカーネルの正則化バイアスと、その対称的または反対称的対応物の正則化バイアスとの関係は何か？
• RQ3 対称および反対称カーネルは、任意の連続的な対称的または反対称関数を任意に良く近似できるか？
• RQ4 変換されたカーネルのスペクトル的性質は、元のカーネルのそれらとどのように比較できるか？

主な発見

• 対称化および反対称化されたペアワイズカーネルの両方の有効次元は、元のカーネルのそれよりも厳密に小さい。
• 対称および反対称カーネルの近似特性は保持されており、任意の連続的な対称的または反対称関数を任意に良く近似できる。
• 対称および反対称カーネルの正則化バイアスは、元のカーネルのバイアスに対して因子 (α + β)² / (4αβ) で束縛される。ここで α および β は (T_K + λI) の最小固有値および最大固有値である。
• 最大値が 1 であるカーネルに対して、正則化バイアス要因の上限は (1 + λ + λ)² / (4λ(1 + λ)) = (1 + 2λ)² / (4λ(1 + λ)) であり、λ → 0 のとき 1 に近づく。
• 対称関数 f に対して、正則化解 f^λ_K^S のバイアスは f^λ_K^PI のそれと同一であり、真の関数が対称である場合、対称化による追加バイアスがないことが示された。
• 解析により、対称性または反対称性を強制してもカーネルの表現力が低下しないことが確認されたが、有効次元の低減により学習効率が向上する可能性がある。