[論文レビュー] Randomized co-training: from cortical neurons to machine learning and back again

David Balduzzi|arXiv (Cornell University)|Oct 24, 2013

Advanced Memory and Neural Computing参考文献 26被引用数 13

ひとこと要約

本論文は、ニューロンがスパarsな報酬に基づくラベルから学習を効率よく行うために、大量のラベルなしデータを利用する生物学的に妥当なメタアルゴリズムとして、確率的コトレーニングを提案する。また、ランダムなビューとマルチビュー回帰を組み合わせた最先端のアルゴリズムである相関Nyströmビュー（XNV）を導入し、最小限の仮定で大規模データセットにおいて高速かつスケーラブルな性能を達成する。

ABSTRACT

Despite its size and complexity, the human cortex exhibits striking anatomical regularities, suggesting there may simple meta-algorithms underlying cortical learning and computation. We expect such meta-algorithms to be of interest since they need to operate quickly, scalably and effectively with little-to-no specialized assumptions. This note focuses on a specific question: How can neurons use vast quantities of unlabeled data to speed up learning from the comparatively rare labels provided by reward systems? As a partial answer, we propose randomized co-training as a biologically plausible meta-algorithm satisfying the above requirements. As evidence, we describe a biologically-inspired algorithm, Correlated Nystrom Views (XNV) that achieves state-of-the-art performance in semi-supervised learning, and sketch work in progress on a neuronal implementation.

研究の動機と目的

• 皮質ニューロンがスパarsな報酬ベースのラベルから学習を効率よく行うために、膨大な量のラベルなしデータをどのように活用しているかを理解すること。
• 高速でスケーラブルかつ効果的で、広く適用可能であり、生物学的に妥当な学習アルゴリズムを開発すること—これは現在の機械学習モデルにおける重要なギャップを埋める。
• 神経科学と機械学習を橋渡しすることにより、神経接続性におけるランダム化が学習性能と一般化能力を向上させることを示すこと。
• 選択的線形回帰とコ正則化を用いて、神経生理学的原則に基づいたニューロンのコトレーニングメカニズムを形式化すること。
• ランダムなビューが、人工的なビューにとどまらず、現実世界および生物学的システムに対してもコトレーニングの適用可能性を拡張できることを示すこと。

提案手法

• シナプス動態と可塑性のモデルを離散化し、スパイク／サイレントの非対称性と遅延する神経調節シグナルを組み込んだ選択的線形回帰モデル（セレクトロン）を導出する。
• 相関Nyströmビュー（XNV）を導入し、データのランダムなビューをNyström法によって生成することで、効率的なマルチビュー回帰を可能にする半教師あり学習アルゴリズムである。
• 選択性項を含むコ正則化最小二乗法を用いて、ニューロンがAMPAおよびNMDAシナプス入力を同時に学習する様子をモデル化し、ビュー間での予測を一致させる。
• ラベル付きデータにおける教師あり誤差とラベルなしデータにおける非教師ありコ正則化を組み合わせた損失関数を用い、ビュー間の不一致を最小化する。
• ラデマッハ複雑度に基づく理論的保証を適用し、表現が十分に異なるビューにおいて一般化性能が向上することを示す。
• ニューロンの学習をオンラインでスパイク駆動の更新としてモデル化し、生物学的制約に整合させ、効率的で段階的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューロンは、レアで報酬ベースのラベルから学習を加速するために、膨大な量のラベルなしデータをどのように活用できるか？
• RQ2 ランダムなビューは、特に生物学的文脈において、設計されたビューの実用的で効果的な代替手段として機能できるか？
• RQ3 シナプス接続性におけるランダム化が、神経系における学習性能と一般化能力をどの程度向上させるか？
• RQ4 コトレーニングを皮質マイクロサーキットにおける生物学的に妥当な学習メカニズムとして形式化することは可能か？
• RQ5 確率的コトレーニングは、標準的なコトレーニングおよび半教師あり学習手法に比べて、理論的および実証的優位性をどのように示すか？

主な発見

• 相関Nyströmビュー（XNV）は、ベンチマークデータセットにおいて半教師あり学習の最先端の性能を達成し、既存の手法を上回る。
• XNVは70,000件のデータポイントに対して30秒未塔で実行可能であるが、標準的な半教師あり学習（SSSL）は同規模では計算的に非現実的になる。
• 理論的分析により、2つのビュー（例：AMPAおよびNMDA）における表現が十分に異なる場合、一般化境界が改善することが示された。これはラデマッハ複雑度で定量化された。
• 損失関数における選択性項により、ニューロンはスパイクが発生した場合にのみ重みを更新するよう保証され、エネルギー効率とスパイク駆動の可塑性という生物学的制約に整合する。
• ランダムなビューは、コトレーニングの適用範囲を顕著に拡張し、自然なビューが存在しない、または定義しづらい状況でも実用的であることを可能にする。
• コ正則化の理論的保証は、2つのビューにおけるラベル付きデータの表現の差に依存し、表現の乖離が大きいほど、一般化境界がタイトになる。