[論文レビュー] Which Learning Algorithms Can Generalize Identity-Based Rules to Novel Inputs?

Paul Tupper, Bobak Shahriari|arXiv (Cornell University)|May 12, 2016

Neural Networks and Applications被引用数 6

ひとこと要約

本稿は、学習アルゴリズムが、語に同じ要素が2つ必要といったアイデンティティベースの規則を新しい入力に一般化できない状況を定式化するフレームワークを提示する。対称性を保つアルゴリズム、たとえばローカリストおよび分散表現を用いた多層フィードフォワードニューラルネットワークですら、ほぼすべての可能な入力を訓練データに含めない限り、このような規則を学習できないことを証明しており、深層学習モデルが構造的深さを備えても代数的一般化に苦労する理由を説明している。

ABSTRACT

We propose a novel framework for the analysis of learning algorithms that allows us to say when such algorithms can and cannot generalize certain patterns from training data to test data. In particular we focus on situations where the rule that must be learned concerns two components of a stimulus being identical. We call such a basis for discrimination an identity-based rule. Identity-based rules have proven to be difficult or impossible for certain types of learning algorithms to acquire from limited datasets. This is in contrast to human behaviour on similar tasks. Here we provide a framework for rigorously establishing which learning algorithms will fail at generalizing identity-based rules to novel stimuli. We use this framework to show that such algorithms are unable to generalize identity-based rules to novel inputs unless trained on virtually all possible inputs. We demonstrate these results computationally with a multilayer feedforward neural network.

研究の動機と目的

• 学習アルゴリズムが未観測の入力にアイデンティティベースの規則を一般化できない条件を形式的に確立すること。
• 標準的なニューラルネットワークなどのアルゴリズムがこのような規則を学習できない根本的な構造的制限要因である「対称性不変性」を同定すること。
• 新しいセグメントが現れた際、複数の隠れ層を備えた深層フィードフォワードネットワークですらアイデンティティベースの文法を一般化できないことを実証すること。
• 限られた訓練データからの推論が容易な人間の一般化と、アルゴリズムの制限を対比すること。
• 従来の非形式的主張である「変数のインスタンス化」と「訓練空間外の一般化」を、厳密な形式的基盤で提供すること。

提案手法

• 著者らは、学習アルゴリズムを訓練データからモデルパラメータへの関数、ならびに新しい入力に対するスコア出力への関数として定義する。
• 「対称性不変性」という概念を導入する：ある変換に対して、入力がその変換を受けても出力が変わらなければ、そのアルゴリズムはその変換に関して不変である。
• 主要な理論的結果として、アルゴリズムと訓練データの両方がある対称性に関して不変である場合、その対称性を破る文法を学習できないことを証明する。
• このフレームワークをアイデンティティベースの規則に適用し、このような規則が尊重しない特定の対称性（同一セグメントの入れ替え）を同定する。
• フレームワークは、26文字（k=26）のローカリストおよび分散表現を用いた多層フィードフォワードニューラルネットワークを用いて、2文字語タスクで計算的に検証される。
• 実験では、1〜3層の隠れ層（256〜1024ユニット）を用い、L-BFGS最適化を適用し、YY、ZZ、YZ、ZYといった新しい入力のスコアを評価する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で学習アルゴリズムが、アイデンティティベースの規則を新しい入力に一般化できないのか？
• RQ2 深層アーキテクチャを備えても、なぜ標準的な接続主義的モデルやフィードフォワードニューラルネットワークがアイデンティティベースの規則を学習できないのか？
• RQ3 このような規則を一般化できるか否かを区別する形式的基準は何か？
• RQ4 アルゴリズムにおける対称性不変性が、広範な訓練でさえも非不変文法を学習できない原因となるのはなぜか？
• RQ5 分散表現や重み共有は、ニューラルネットワークにおけるこの根本的制限を克服できるか？

主な発見

• ローカリスト表現を用いたニューラルネットワークは、YY などの文法的語と YZ などの不文法的語に対して、類似したスコア（約 0.3〜0.5）を割り当て、アイデンティティベースの規則を区別できない。
• 分散表現を用いても、ネットワークは YY と YZ に対して両方とも高いスコア（>0.5）を出力し、文法的・不文法的入力の区別がつかない。
• 隠れ層を3層まで増やしても一般化は向上せず、YY、ZZ、YZ、ZY に対するスコアは統計的に区別できないままである。
• この失敗は入力表現そのものに起因するのではなく、ローカリスト表現と分散表現の両方で同じような劣悪な性能が継続する。
• 理論的分析により、セグメントの入れ替え対称性に関して不変な任意のアルゴリズムは、その対称性を破る訓練データがなければ、アイデンティティベースの規則を学習できないことが確認された。
• 深層学習アーキテクチャでさえ、代数的規則の一般化において、この根本的な対称性に基づく制限を克服できない。