[論文レビュー] Real numbers, data science and chaos: How to fit any dataset with a single parameter

Laurent Boué|arXiv (Cornell University)|Apr 28, 2019

Time Series Analysis and Forecasting参考文献 6被引用数 6

ひとこと要約

本稿では、任意のデータセット（時系列、画像、音声など、どのようなモダリティであっても）が、1つのパラメータで完全にフィット可能であることを示している。その関数は $ f_\alpha(x) = \sin^2(2^{x\tau} \arcsin \sqrt{\alpha}) $ であり、混沌としたダイナミクスを用いて、すべてのデータを1つの実数パラメータ $ \alpha $ に符号化する。主な貢献は、無限精度の実数が、1つのパラメータを用いて任意のデータセットを任意の精度で符号化できることを理論的かつ実践的に示すフレームワークを提供することである。

ABSTRACT

We show how any dataset of any modality (time-series, images, sound...) can be approximated by a well-behaved (continuous, differentiable...) scalar function with a single real-valued parameter. Building upon elementary concepts from chaos theory, we adopt a pedagogical approach demonstrating how to adjust this parameter in order to achieve arbitrary precision fit to all samples of the data. Targeting an audience of data scientists with a taste for the curious and unusual, the results presented here expand on previous similar observations regarding expressiveness power and generalization of machine learning models.

研究の動機と目的

• 任意のデータセット（どのようなモダリティであっても）が、1つの実数パラメータを持つ微分可能関数によって表現可能であることを示すこと。
• この結果が、モデルの表現力、一般化、および機械学習におけるパラメータ数のヒューリスティクスの限界に与える影響を検討すること。
• 実数が非終了的実体として無限の情報を内蔵していることから、このようなモデルでは一般化が不可能であることを示すこと。
• このような関数を構築し、$ \alpha $ を調整して任意の精度でのフィッティングを達成する教育的フレームワークを提供すること。
• 1つのパラメータで任意のデータセットを符号化可能であるという事実を示すことで、機械学習における従来の常識（モデル容量と一般化に関する）に挑戦すること。

提案手法

• 提案手法は関数 $ f_\alpha(x) = \sin^2(2^{x\tau} \arcsin \sqrt{\alpha}) $ を用い、$ \alpha \in \mathbb{R} $ を1つの学習可能なパラメータとし、$ \tau \in \mathbb{N} $ が精度を制御する。
• 関数は二進変換と混沌としたダイナミクスに基づいて導出されており、初期条件に敏感な性質を有するため、高い表現力が保証される。
• データは、長さ $ n\tau $ のバイナリ文字列に変換し、任意精度算術を用いてバイナリから小数への変換により $ \alpha $ にマッピングすることで符号化される。
• バイナリ表現と小数表現の間での変換を正確に維持するために、任意精度算術のための mpmath ライブラリが使用される。
• 関数は整数点 $ x \in [0, n] $ で評価され、$ \alpha $ が適切に選ばれると、出力列はターゲットデータセットと一致する。
• このアプローチでは、データセットをモダリティにかかわらず数値のリスト $ \mathcal{X} = [x_0, \dots, x_n] $ とみなしそれを $ y = f_\alpha(x) $ にマッピングする。

実験結果

リサーチクエスチョン

• RQ1 1つのパラメータ、連続的かつ微分可能な関数が、多様なモダリティにわたる任意のデータセットを表現可能か？
• RQ2 実数が持つ無限の情報含量が、機械学習モデルにおける一般化の概念をどの程度損なうか？
• RQ3 この構成が、パラメータ数、VC次元、またはラデマッチャー複雑度といった従来のモデル容量測度にどのように挑戦するか？
• RQ4 混沌理論と二進変換が、極めて少ないパラメータで高い表現力を実現するために果たす役割は何か？
• RQ5 この手法を用いて、1つの実数パラメータのみで、音声、画像、テキストなどの複雑な信号を生成可能か？

主な発見

• 適切に選ばれた $ \alpha $ を用いることで、関数 $ f_\alpha(x) = \sin^2(2^{x\tau} \arcsin \sqrt{\alpha}) $ は、$ n $ 個の数値データを正確に再現可能である。
• この手法は、動物の形状、音声信号（例：「Hello world」の発話）、CIFAR-10に類似した画像など、複雑な出力を1つの実数パラメータのみで成功裏に生成した。
• 全データセットを初期条件 $ \alpha $ に符号化することで、任意の精度でのフィッティングが達成可能である。$ \alpha $ は長さ $ n\tau $ のバイナリ文字列から導出される。
• 有限精度で $ \alpha $ が表現される場合（例：$ \tau = 8 $）、有効桁数を超えて予測が発散することを確認し、モデルが一般化能力を欠いていることを裏付けた。
• パラメータ数はモデル容量の優れた代理指標ではないことが示された。1つの実数パラメータで有限のデータセットを符号化可能である。
• 最小記述長のような複雑さの上限が、フィッティングの質と表現力のトレードオフを取るために重要であることが強調された。パラメータ数の単純な数え上げは不適切である。