[論文レビュー] Autoencoding any Data through Kernel Autoencoders

Pierre Laforgue, Stéphan Clémençon+1 more|arXiv (Cornell University)|May 28, 2018

Image and Signal Denoising Methods参考文献 25被引用数 13

ひとこと要約

本稿では、ベクトル値再生ヒルバート空間（vv-RKHS）と作用素値カーネル（OVK）を活用することで、任意のデータ型（例：グラフ）にまで拡張された新しいフレームワーク、カーネルオートエンコーダー（KAE）を提案する。この手法により、構造的データ（例：分子）の非線形的かつ低次元の表現をエンドツーエンドで学習可能となり、理論的保証と分子活性度予測における実証的成功を達成する。

ABSTRACT

This paper investigates a novel algorithmic approach to data representation based on kernel methods. Assuming that the observations lie in a Hilbert space X, the introduced Kernel Autoencoder (KAE) is the composition of mappings from vector-valued Reproducing Kernel Hilbert Spaces (vv-RKHSs) that minimizes the expected reconstruction error. Beyond a first extension of the autoencoding scheme to possibly infinite dimensional Hilbert spaces, KAE further allows to autoencode any kind of data by choosing X to be itself a RKHS. A theoretical analysis of the model is carried out, providing a generalization bound, and shedding light on its connection with Kernel Principal Component Analysis. The proposed algorithms are then detailed at length: they crucially rely on the form taken by the minimizers, revealed by a dedicated Representer Theorem. Finally, numerical experiments on both simulated data and real labeled graphs (molecules) provide empirical evidence of the KAE performances.

研究の動機と目的

• カーネルを用いてデータをヒルバート空間に埋め込むことで、ユークリッド空間を超えた任意のデータ型（例：グラフ、文字列、画像）を扱えるようにオートエンコーダーを拡張すること。
• 作用素値カーネル（OVK）とベクトル値再生ヒルバート空間（vv-RKHS）を用いて、理論的裏付けのある非パrametricな表現学習フレームワークを構築すること。
• 入力空間をRKHSとみなすことにより、類似度行列で記述可能な任意のデータのオートエンコーディングを可能にすること。
• 一般化境界を提供するとともに、カーネルPCAとの関連を確立することで、KAEを既存のスペクトル的手法と結びつけること。
• 標準的なオートエンコーダーが特徴ベクトルを必要とするため、機能しない場合に生じる問題を解決し、実世界の構造的データ（特に分子グラフ）に対して本手法の有効性を示すこと。

提案手法

• KAEを、2つの異なるvv-RKHSに属する符号化関数と復元関数の合成として定式化し、期待再構成誤差を最小化する。
• 符号化と復元の関数的空間を定義するために作用素値カーネル（OVK）を用い、ヒルバート空間間の写像を非パrametricに学習可能にする。
• KAE目的関数の最小化解に対してリプレーサー定理を導出し、最適解がカーネル関数の有限線形結合として表現可能であることを保証することで、無限次元空間における計算を可能にする。
• カーネルトリックを用いて、高次元特徴空間への明示的写像を回避し、計算の実行可能性を確保する。
• 入力空間自体がRKHSであるデータ（例：グラフカーネルによるグラフ）に本フレームワークを適用することで、構造的オブジェクトのオートエンコーディングを可能にする。
• 2段階の学習パイプラインを採用：まず、類似度カーネルを用いて入力データをRKHSにマッピング；次に、KAEを適用して低次元表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 カーネル法とヒルバート空間埋め込みを用いることで、ユークリッドベクトルを超えた任意のデータ型（例：グラフ）に対してオートエンコーダーを一般化できるか？
• RQ2 作用素値カーネルを用いて、無限次元ヒルバート空間におけるオートエンコーダー目的関数をどのように定式化・解けるか？
• RQ3 提案されたKAEフレームワークの一般化性能はどの程度で、既存手法（例：カーネルPCA）とどのように関連しているか？
• RQ4 KAEは、分子グラフなどの構造的データに対して、分離可能で判別性の高い表現を効果的に学習できるか？
• RQ5 分子活性度予測において、KAEはKRRやKPCA + RFなどの標準ベースラインと比較して、再構成誤差および予測性能の両面で優れているか？

主な発見

• KAEフレームワークは、分子活性度予測において最先端の性能を達成し、K² AE 50 + RF戦略が59種類のがん型すべてで平均NMSEが最小となった。
• NCI-59データセットにおいて、K² AE 50 + RFモデルは全59種類のがん型で平均NMSE 0.0286を達成し、KRR（0.0299）やKPCA + RFベースラインを上回った。
• KAEが学習する1次元および2次元表現は、2つのモーナスや同心円といった複雑なデータ構造を分離し、クラスタ内ばらつきを保持するとともにクラスタ間の分離を明確に保った。
• 理論的解析により一般化境界を確立し、KAEとカーネルPCAとの強い関連性を明らかにした。特定の条件下では、両者は類似した低次元部分空間を回復する。
• 手作業による特徴量を必要とせず、分子グラフを効果的にオートエンコーディングできた。これは、標準的なオートエンコーダーが機能しないデータタイプへの適用可能性を示している。
• 数値実験により、KAEが入力データが自然にベクトルでない場合（例：ケモインフォマティクス分野）でも、意味のある低次元表現を学習可能であることを確認した。