[論文レビュー] Augmented Artificial Intelligence: a Conceptual Framework

Alexander N. Gorban, Bogdan Grechuk+1 more|arXiv (Cornell University)|Feb 6, 2018

Neural Networks and Reservoir Computing参考文献 24被引用数 12

ひとこと要約

本稿では、レガシーなAIモデルの誤りを素早く、破壊的でない方法で是正できるようにするため、AIシステムのコミュニティを活用した拡張型人工知能の概念的枠組みを提案する。高次元の確率的分離定理を活用することで、線形分類器（例：フィッシャーの判別分析）は、複雑でi.i.d.でないデータ分布でさえも、高い確率で誤りを的確に特定・是正でき、スケーラブルで逆転可能かつ人間の専門的知識を要しないシステム改善を実現する。

ABSTRACT

All artificial Intelligence (AI) systems make errors. These errors are unexpected, and differ often from the typical human mistakes ("non-human" errors). The AI errors should be corrected without damage of existing skills and, hopefully, avoiding direct human expertise. This paper presents an initial summary report of project taking new and systematic approach to improving the intellectual effectiveness of the individual AI by communities of AIs. We combine some ideas of learning in heterogeneous multiagent systems with new and original mathematical approaches for non-iterative corrections of errors of legacy AI systems. The mathematical foundations of AI non-destructive correction are presented and a series of new stochastic separation theorems is proven. These theorems provide a new instrument for the development, analysis, and assessment of machine learning methods and algorithms in high dimension. They demonstrate that in high dimensions and even for exponentially large samples, linear classifiers in their classical Fisher's form are powerful enough to separate errors from correct responses with high probability and to provide efficient solution to the non-destructive corrector problem. In particular, we prove some hypotheses formulated in our paper `Stochastic Separation Theorems' (Neural Networks, 94, 255--259, 2017), and answer one general problem published by Donoho and Tanner in 2009.

研究の動機と目的

• 再トレーニングや既存の能力の損ないを伴わずに、展開済みのAIシステムにおける誤り是正という重要な課題に取り組むこと。
• ビッグデータ上で動作する大規模AIシステムにおける、スケーラブルで反復的でなく、かつ逆転可能な誤り是正手法を構築すること。
• AIの保守における人間の関与を最小限に抑えるために、AIのコミュニティが誤りを自主的に検出・是正・知識を共有できる仕組みを提供すること。
• 測度濃縮と確率的分離定理を用いた、高次元データにおける誤り是正の理論的基盤を確立すること。
• 線形分類器が高次元で誤りの応答と正しい応答を分離する能力の実現可能性と強固さを示すこと。

提案手法

• 高次元空間における確率的分離定理を用いて、高次元空間に存在するランダムな点が、データセットの残りの部分と高い確率で線形分離可能であることを証明する。
• フィッシャーの線形判別分析を高次元で応用し、レガシーAIシステムからの誤った予測を破壊的でない方法で的確に特定・是正する。
• 独立した線形判別分析を段階的に組み合わせたアーキテクチャを採用することで、誤り是正の効率性と耐障害性を向上させる。
• クラスタリング解析と確率的分離を統合：まずデータをクラスタに分割し、その後各クラスタ内で線形分離を適用することで性能を向上させる。
• AIが問題ルーティング、知識共有、監査システムを通じて協働するコミュニティベースのAIフレームワークを設計し、システムの整合性を維持する。
• 実産業協働下でのシミュレーテッドデータおよび実世界のビデオストリームデータを用いて、手法の有効性を検証し、実用的妥当性を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元空間における線形分類器は、レガシーAIシステムにおいて、誤った予測と正しい予測を信頼性高く分離できるか？
• RQ2 確率的分離定理は、人間の介入なしに、反復的でなく破壊的でないAI誤り是正をどの程度可能にするか？
• RQ3 次元の豊かさ（blessing of dimensionality）は、低次元アプローチと比較して、なぜより単純で効率的な是正メカニズムを可能にするのか？
• RQ4 データのクラスタ構造は、誤り是正における確率的分離の有効性にどのような影響を与えるか？
• RQ5 提案されたフレームワークは、実世界のAIワークロードに一般的に見られる非i.i.i.d.なデータ分布に対しても対応可能か？

主な発見

• 確率的分離定理により、高次元では、指数関数的に大きなランダムデータセットですら、高い確率で線形分離可能であることが証明され、効率的な誤り是正が可能になる。
• 1つの誤った点を正しい応答から分離する失敗確率は、サンプルサイズ、次元、信頼水準パラメータに依存する式で上限が定められ、次元が増加するに従い急速に減少する。
• フィッシャーの線形判別分析は、高次元データにおける誤り是正に非常に効果的であり、実際の応用ではより複雑な非線形手法を上回る性能を示す。
• 独立した線形判別分析の段階的アーキテクチャは、単一の分類器と比較して、性能と耐障害性の両面で優れている。
• クラスタリング解析と確率的分離を組み合わせることで、明確なクラスタ構造を示すデータでは、是正精度が顕著に向上する。
• 実際のビデオストリームデータにおいて、産業環境下で誤り是正が成功し、実用的妥当性とスケーラビリティが確認された。