[論文レビュー] From Machine Learning to Machine Reasoning

Léon Bottou|arXiv (Cornell University)|Feb 9, 2011

Machine Learning and Algorithms参考文献 20被引用数 24

ひとこと要約

本稿は、訓練済みの機械学習コンponentsの代数的変形としての機械推論の概念的枠組みを提案する。推論は、モジュラーな学習システムの組み合わせと微調整によって自然に生じることを主張する。システムの組み合わせを代数的演算として扱うことで、明示的な記号的または確率的推論エンジンを必要とせず、モジュラー統合とチューニングを通じて学習から推論への連続的経路を実現する。

ABSTRACT

A plausible definition of "reasoning" could be "algebraically manipulating previously acquired knowledge in order to answer a new question". This definition covers first-order logical inference or probabilistic inference. It also includes much simpler manipulations commonly used to build large learning systems. For instance, we can build an optical character recognition system by first training a character segmenter, an isolated character recognizer, and a language model, using appropriate labeled training sets. Adequately concatenating these modules and fine tuning the resulting system can be viewed as an algebraic operation in a space of models. The resulting model answers a new question, that is, converting the image of a text page into a computer readable text. This observation suggests a conceptual continuity between algebraically rich inference systems, such as logical or probabilistic inference, and simple manipulations, such as the mere concatenation of trainable learning systems. Therefore, instead of trying to bridge the gap between machine learning systems and sophisticated "all-purpose" inference mechanisms, we can instead algebraically enrich the set of manipulations applicable to training systems, and build reasoning capabilities from the ground up.

研究の動機と目的

• 機械推論を別個の能力として再定義するのではなく、事前に学習されたモデルの代数的変形として捉えること。
• 機械学習システムと高レベルの推論の間にあるとされるギャップを埋めるために、推論がモジュラーな組み合わせから生じることを示すこと。
• トレーニング可能なモデルに適用可能な代数的演算の集合を拡充することで、推論への実用的でスケーラブルな道筋を提示すること。
• テキスト認識のような複雑な推論タスクが、単純な訓練済みコンポONENTの体系的組み合わせによって達成できることを示すこと。

提案手法

• 学習済みモデルの代数的変形として推論を定義し、演算に連結、微調整、および訓練済みモジュールの合成を含むこと。
• 文字領域検出器、分離文字認識器、言語モデルなどのモジュラーな学習システムを構築の基本要素として用いること。
• 新しいタスクに最適化するために、組み合わせたシステムの微調整を適用し、これを推論の一種とみなすこと。
• 演算を訓練済みコンponents上で定義するモデル空間としてのプロセスを形式化し、合成を通じて体系的な推論を可能にすること。
• 単純なモデルの合成と、論理的または確率的推論のような複雑な推論システムとの類似性を示すこと。
• 学習から推論への連続的スケールとしてのアプローチを提示し、両者の間に明確な断絶を必要としないこと。

実験結果

リサーチクエスチョン

• RQ1 推論は、専用の推論エンジンを備えず、訓練済みの機械学習モデルの代数的合成によって達成可能か？
• RQ2 記号的または確率的形式的体系を追加せずに、機械学習と高レベルの推論のギャップを埋めることは可能か？
• RQ3 訓練済みモデルに対するどのような代数的演算が、個々のコンponentsが直接カバーしない新しい質問に答えられるようにするか？
• RQ4 複雑な推論タスクは、どの程度、モジュラーな学習と組み合わせのステップに分解可能か？
• RQ5 単純なモデルの合成と、確率的または論理的推論のような洗練された推論メカニズムとの間に、概念的な連続性があるか？

主な発見

• 推論は、訓練済みコンponentsの代数的合成を通じて、学習の自然な延長として捉えられ、別個の推論レイヤーの必要性を排除できる。
• 文字領域検出器、認識器、言語モデルの組み合わせが単一のシステムを形成することは、完全なテキスト認識という新たな質問に答える形での推論の一種である。
• 組み合わせたシステムの微調整は、モデル空間における代数的演算と同等であり、推論がモジュラー統合によって達成可能であることを示している。
• 本アプローチは、単純なモデルの連結と、論理的または確率的推論のような複雑な推論システムとの間で概念的な連続性を確立している。
• 本フレームワークにより、既存の機械学習コンponentsから段階的かつ体系的に推論能力を構築できる。
• 本稿は、推論にアーキテクチャの根本的転換を要するのではなく、学習済みモデルに対するより洗練された操作によって生じうることを示している。