[論文レビュー] Computing With Contextual Numbers

Vahid Moosavi|arXiv (Cornell University)|Aug 5, 2014

Neural Networks and Applications参考文献 31被引用数 7

ひとこと要約

本稿では、学習済み1次元自己組織化マップ（SOM）から導出される連続的・1次元的な数値表現である文脈的数値（contextual numbers）を導入する。この手法により、高次元データ状態がトポロジカルに順序付けられた形で表現され、時空間的ダイナミクスの応用例を通じて、意味的類似性が保持された形でデータ駆動型モデリングタスクが実行可能になる。

ABSTRACT

Self Organizing Map (SOM) has been applied into several classical modeling tasks including clustering, classification, function approximation and visualization of high dimensional spaces. The final products of a trained SOM are a set of ordered (low dimensional) indices and their associated high dimensional weight vectors. While in the above-mentioned applications, the final high dimensional weight vectors play the primary role in the computational steps, from a certain perspective, one can interpret SOM as a nonparametric encoder, in which the final low dimensional indices of the trained SOM are pointer to the high dimensional space. We showed how using a one-dimensional SOM, which is not common in usual applications of SOM, one can develop a nonparametric mapping from a high dimensional space to a continuous one-dimensional numerical field. These numerical values, called contextual numbers, are ordered in a way that in a given context, similar numbers refer to similar high dimensional states. Further, as these numbers can be treated similarly to usual continuous numbers, they can be replaced with their corresponding high dimensional states within any data driven modeling problem. As a potential application, we showed how using contextual numbers could be used for the problem of high dimensional spatiotemporal dynamics.

研究の動機と目的

• 高次元データ空間から1次元数値フィールドへの非パrametricかつ連続的なマッピングを開発すること。
• 元の高次元状態の意味的類似性を保ちつつ、順序付けられた数値値上でデータ駆動型モデリングが実行可能になるようにすること。
• 通常のSOM応用ではあまり使われない1次元SOMの有用性を検討すること。
• 計算ワークフローにおいて高次元ベクトルに代わる新しい数値表現—文脈的数値—を提供すること。
• 複雑な高次元時空間的ダイナミクスモデリングへの適用可能性を示すこと。

提案手法

• 高次元データに1次元自己組織化マップ（SOM）を学習させ、データ状態のトポロジカルな順序を学習する。
• 学習済みSOMの低次元インデックスを、高次元重みベクトルへのポインタとして用い、連続的な数値フィールドを構築する。
• 順序付けられたインデックスを、高次元状態を連続的かつ順序付けられた形で表現する文脈的数値として解釈する。
• データ駆動型モデリングパイプラインにおいて、高次元ベクトルをそれに対応する文脈的数値に置き換える。
• SOMのトポロジカル順序付けのおかげで、類似した文脈的数値は類似した高次元状態に対応することを保証する。
• 文脈的数値の連続性と順序性を活用し、補間、回帰、関数近似などの操作を実行する。

実験結果

リサーチクエスチョン

• RQ1 1次元SOMは、高次元データを連続的かつ順序付けられた数値表現に効果的に符号化できるか？
• RQ2 文脈的数値は、元のベクトルと比較して、高次元データ状態間の意味的類似性をどの程度保持するか？
• RQ3 文脈的数値は、高次元ベクトルの即時置き換えとして、どの程度データ駆動型モデリングタスクで利用可能か？
• RQ4 文脈的数値は、複雑な高次元時空間的ダイナミクスモデリングにおいてどの程度有効か？
• RQ5 このマッピングの非パrametric性は、実世界の応用における一般化性とロバスト性にどのような影響を与えるか？

主な発見

• 1次元SOMは、文脈的数値空間における近接性が元のデータ空間における類似性を反映するように、高次元データを連続的かつ順序付けられた数値フィールドにマッピングすることに成功した。
• 文脈的数値はトポロジカルな忠実性を維持しており、類似した高次元状態が近接する数値に割り当てられる。
• この手法により、補間や回帰などの標準的な数値操作を、文脈的数値フィールドに対して直接適用可能となり、モデリングワークフローの簡素化が可能になった。
• 本手法は、高次元時空間的ダイナミクスのモデリングにおいて有効であることが実証され、複雑な力学系への応用可能性を示唆している。
• データ分布に関する仮定を必要としない非パrametricな符号化により、多様な応用分野におけるロバスト性が向上した。
• 文脈的数値表現により、高次元ベクトルをスカラ値に置き換えることで、計算とストレージの効率化が可能になりつつ、解釈可能性と類似性構造を保持している。