[論文レビュー] The Blessing of Dimensionality: Separation Theorems in the Thermodynamic Limit

Alexander N. Gorban, Ivan Tyukin+1 more|arXiv (Cornell University)|Oct 3, 2016

Neural Networks and Applications被引用数 8

ひとこと要約

本論文は、高次元空間における測度濃縮の性質を活用して意思決定を調整するパーセプトロンノードの段重ねを追加することにより、再訓練を要しない非侵襲的な手法を提案する。この手法により、熱力学的極限において性能が向上し、再訓練を伴わず事前学習済みの歩行者検出ネットワークの性能向上が実証された。

ABSTRACT

We consider the problem of efficient the fly tuning of existing, or {\it legacy}, Artificial Intelligence (AI) systems. The legacy AI systems are allowed to be of arbitrary class, albeit the data they are using for computing interim or final decision responses should posses an underlying structure of a high-dimensional topological real vector space. The tuning method that we propose enables dealing with errors without the need to re-train the system. Instead of re-training a simple cascade of perceptron nodes is added to the legacy system. The added cascade modulates the AI legacy system's decisions. If applied repeatedly, the process results in a network of modulating rules dressing up and improving performance of existing AI systems. Mathematical rationale behind the method is based on the fundamental property of measure concentration in high dimensional spaces. The method is illustrated with an example of fine-tuning a deep convolutional network that has been pre-trained to detect pedestrians in images.

研究の動機と目的

• 再訓練がコストがかかりまたは不可能な場合に、再訓練を伴わず既存のAIシステムを改善する課題に対処すること。
• 新しい誤りやデータシフトに対応できない柔軟性の欠如するレガシーアイテムAIシステムの制限を克服すること。
• 構造的高次元入力を備えた任意のAIシステムに適用可能な汎用的なチューニング機構を開発すること。
• 高次元における測度濃縮の数学的性質を活用して、意思決定の調整を安定的かつ強固に保証すること。
• 段重ねのルールベースの調整を通じて、反復的かつモジュラーにAI性能を改善すること。

提案手法

• レガシーアイテムAIシステムに、出力の調整を目的としたモジュラーかつ加法的な層として、パーセプトロンノードの段重ねを導入する。
• 高次元トポロジカル実ベクトル空間に内在する構造を活用して、意思決定の効果的かつ効率的な調整を保証する。
• 反復的に適用することで、段階的なルールネットワークを形成し、レガシーシステムの挙動を段階的に改善する。
• 高次元における測度濃縮の原則に基づくものであり、意思決定境界の微小な摂動が安定的かつ予測可能な改善をもたらすことを保証する。
• 収束性と分離性を保証する理論的基盤として、無限次元（熱力学的極限）を用いる。
• 歩行者検出のための事前学習済み深層畳み込みネットワークにこの手法を適用し、実用的応用の有効性を実証する。

実験結果

リサーチクエスチョン

• RQ1 高次元幾何的性質を活用することで、再訓練を伴わずレガシーアイテムAIシステムを改善できるか？
• RQ2 高次元空間における測度濃縮は、どのように安定的かつ効果的な意思決定の調整を可能にするか？
• RQ3 パーセプトロンノードの段重ねを反復的に適用することで、事前学習済みAIシステムの性能にどのような影響を与えるか？
• RQ4 提案手法は、構造的高次元入力を備えたさまざまなAIシステムクラスに普遍的に適用可能か？
• RQ5 熱力学的極限において、意思決定の分離性と性能向上に関する理論的保証は何か？

主な発見

• 本手法により、再訓練を伴わず、追加されたパーセプトロン段重ねに依存するだけで、レガシーアイテムAIシステムの性能向上が可能である。
• 高次元空間における測度濃縮により、意思決定境界がますます分離可能となり、効果的な調整が可能になる。
• 段重ねの反復的適用により、段階的なルールネットワークが形成され、システムの出力意思決定が段階的に改善される。
• 本手法は熱力学的極限に基づく理論的基盤を有しており、測度濃縮によって強固さと収束性が保証される。
• 事前学習済み歩行者検出ネットワークにおける実証的検証により、本手法の実世界におけるAI応用への有効性が確認された。
• 本手法は、入力データが高次元トポロジカル実ベクトル空間に存在する任意のAIシステムに一般化可能である。