[論文レビュー] Algebraic Machine Learning

Fernando Martín-Maroto, Gonzalo G. de Polavieja|arXiv (Cornell University)|Mar 14, 2018

Machine Learning and Algorithms参考文献 13被引用数 4

ひとこと要約

本稿では、従来の関数最小化の代わりに基数最小化——訓練データを表現する最小の不可約代数的成分（アトム）の集合を見つける——を採用するパラメータフリーで離散的な代数的機械学習フレームワークを提案する。この手法は効果的に一般化し、過学習を伴わず高いテスト精度を達成する。また、圧縮（アトムの数が少ない）と誤差率の強い逆相関関係が、桁認識およびN-クイーン完成問題の両方で検証された。

ABSTRACT

Machine learning algorithms use error function minimization to fit a large set of parameters in a preexisting model. However, error minimization eventually leads to a memorization of the training dataset, losing the ability to generalize to other datasets. To achieve generalization something else is needed, for example a regularization method or stopping the training when error in a validation dataset is minimal. Here we propose a different approach to learning and generalization that is parameter-free, fully discrete and that does not use function minimization. We use the training data to find an algebraic representation with minimal size and maximal freedom, explicitly expressed as a product of irreducible components. This algebraic representation is shown to directly generalize, giving high accuracy in test data, more so the smaller the representation. We prove that the number of generalizing representations can be very large and the algebra only needs to find one. We also derive and test a relationship between compression and error rate. We give results for a simple problem solved step by step, hand-written character recognition, and the Queens Completion problem as an example of unsupervised learning. As an alternative to statistical learning, algebraic learning may offer advantages in combining bottom-up and top-down information, formal concept derivation from data and large-scale parallelization.

研究の動機と目的

• 統計的機械学習で一般的な関数最小化や過学習を回避する、パラメータフリーで離散的な学習フレームワークの開発。
• 誤差最小化に依存せずに、最小で不可約な成分（アトム）への代数的圧縮を通じて一般化を実現すること。
• 学習における圧縮（アトム数）とテスト誤差率の間の理論的・実験的関連性の確立。
• 教師ありおよび教師なし問題への適用効果の検証、特に手書き数字分類およびN-クイーン完成問題を含む。
• 学習済みアトムにおける対称性の活用を検討し、追加の学習なしに新しい解を生成すること。

提案手法

• データと関係性を表現するために拡張された半ラティス代数を用い、学習を訓練制約を満たす不可約アトムの最小集合を見つける問題として定式化する。
• スパースクロス操作を用いて、トレースおよびトレース制約ルールを満たしながら、アトムを組み合わせて候補となる代数的解を生成する。
• 冗長なアトムを排除することで表現を簡略化する還元操作を実施し、最小基数を保証する。
• 浮動小数点演算を一切用いない確率的で離散的なアルゴリズムによりアトム化を実行し、勾配ベース手法の局所最小値問題を回避する。
• バッチ学習を用いて反復的にアトム集合を最適化し、アトム数が少ない解を優遇する。
• 入力データの対称性（例：画像における行・列の入れ替え）が、学習済みアトムの構造に反映され、対称性操作により新しいアトムが「無料で」生成可能になる。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーで離散的な代数的手法が、関数最小化や過学習を回避して一般化を達成できるか。
• RQ2 代数的表現のサイズ（アトム数）とそれによるテスト誤差率の関係は何か。
• RQ3 入力データの対称性が、学習済み代数的アトムの構造にどのように現れるか。
• RQ4 ノイズ混じりまたは誤分類された訓練データであっても、代数的学習が効果的に一般化できるか。
• RQ5 対称性の活用により、追加の学習なしにどの程度新しい有効なアトムを生成できるか。

主な発見

• テストデータの誤差率は、圧縮率（アトム数）と逆比例する関係にあり、偶数・奇数の垂直バー分類問題において実験的に検証された。
• 7×7および10×10グリッドにおいて、対称性に起因する degeneracy を補正した後、誤差と逆圧縮率の比例定数は理論予測値とそれぞれ10%および5%以内であった。
• 誤分類された訓練データを含んでも、明示的な精度目的なしに、手書き数字分類で約99%の精度を達成し、過学習を示さなかった。
• 一般化可能な表現の数は天文学的なほど巨大であるが、アルゴリズムが1つだけを発見すれば十分であり、これにより強靭性とスケーラビリティが示された。
• データの対称性（例：行・列の入れ替え）は、対称的なアトムを生成し、対称性操作により「無料で」新しいアトムを生成可能にし、効率性が向上した。
• 誤差率が低下するにつれて理論的予測に収束し、スパースクロスアルゴリズムは低誤差領域で理論的誤差-圧縮境界に近づいた。