[論文レビュー] Visual Learning of Arithmetic Operations

Yedid Hoshen, Bezalel Peleg|arXiv (Cornell University)|Jun 7, 2015

Neural Networks and Applications参考文献 20被引用数 14

ひとこと要約

本稿では、7桁の数字の画像から直接、明示的な数値や演算子の教師なしで、加法および減法という算術演算を、単純な順方向ニューラルネットワークを用いてエンドツーエンドの視覚的学習フレームワークとして学習する手法を提案する。モデルは視覚的出力としての和または差を高い正確性で予測することができ、基本的な算術は最小限のアーキテクチャ的複雑性で視覚的パターン認識によって学習可能であることを示している。

ABSTRACT

A simple Neural Network model is presented for end-to-end visual learning of arithmetic operations from pictures of numbers. The input consists of two pictures, each showing a 7-digit number. The output, also a picture, displays the number showing the result of an arithmetic operation (e.g., addition or subtraction) on the two input numbers. The concepts of a number, or of an operator, are not explicitly introduced. This indicates that addition is a simple cognitive task, which can be learned visually using a very small number of neurons. Other operations, e.g., multiplication, were not learnable using this architecture. Some tasks were not learnable end-to-end (e.g., addition with Roman numerals), but were easily learnable once broken into two separate sub-tasks: a perceptual extit{Character Recognition} and cognitive extit{Arithmetic} sub-tasks. This indicates that while some tasks may be easily learnable end-to-end, other may need to be broken into sub-tasks.

研究の動機と目的

• 算術演算が、数値や演算子の明示的記号的教師なしで、純粋に視覚的入力と出力の画像から学習可能かどうかを調査すること。
• 単純なニューラルネットワークアーキテクチャを用いて、視覚的算術タスクのエンドツーエンド学習の可能性を評価すること。
• 本番の視覚的学習プロトコル下で、加法や乗法などの算術演算のうち、どの演算が学習可能かを特定すること。
• OCRや算術といった部分タスクを統合した際のエンドツーエンド学習の限界を分析すること。
• 視覚的学習が、フレーム予測を通じて視覚的でない認知的タスクへ一般化可能かどうかを検討すること。

提案手法

• 3層の隠れ層（各256ユニット、ReLU活性化関数）と、出力層にシグモイド活性化関数を用いた順方向の全結合ニューラルネットワーク。出力は画像に似た予測を生成する。
• 入力は、標準フォントで書かれた7桁の数字の15×60ピクセルの画像2枚で構成され、出力は算術結果（例：和）の画像である。
• 150,000件の訓練例を用い、予測出力画像と正解出力画像の間のL2損失（二乗誤差の和）を最小化することで学習を行う。
• 理論的分析により、隠れ層でインジケータ関数を用いたしきい値付き関数によって、桁テンプレートの検出とキャリー伝播の計算を暗黙的に学習するネットワークを構築する。
• 隠れ層のノードは、各桁位置における数字の存在を検出し、しきい値付きインジケータ関数を用いてキャリー論理を伴う累積和を計算するように設計されている。
• 出力層は、和とキャリーに基づいて各位置での正しい数字を選択するインジケータノードの組み合わせを用い、区分的論理的条件によってモデル化されている。

実験結果

リサーチクエスチョン

• RQ1 明示的な数値や演算子の教師なしで、ニューラルネットワークが視覚的入力と出力の画像から加法を純粋に学習可能か？
• RQ2 単純な順方向ネットワークアーキテクチャを用いて、算術演算のエンドツーエンド視覚的学習が可能か？
• RQ3 OCRや算術といった部分タスクが個別に学習可能であっても、ローマ数字を用いた加法ではなぜエンドツーエンド学習が失敗するのか？
• RQ4 乗法は、加法と同様の視覚的エンドツーエンドプロトコルで学習可能か？
• RQ5 視覚的フレーム予測における認知的タスクのエンドツーエンド学習可能性に制限を及える、アーキテクチャ的および表現的制約は何か？

主な発見

• ニューラルネットワークは、数値や演算子の明示的定義なしに、視覚的入力と出力の画像のみを用いて、高い正確性で加法および減法を学習した。
• モデルは未学習の数字ペアに対しても良好に一般化され、強い画像ノイズに対しても頑健であった。これは、有効な視覚的特徴学習が行われたことを示している。
• 同じアーキテクチャ下で乗法は正しく学習されなかった。これは、より高い複雑性またはアーキテクチャの不適合性を示唆している。
• エンドツーエンド学習は、ローマ数字を用いた加法では失敗したが、OCRと算術の部分タスクは個別に学習可能であった。これは、共同最適化の困難さを浮き彫りにした。
• 理論的分析により、隠れ層でインジケータ関数を用いたしきい値付き関数によって、桁テンプレートの検出とキャリー伝播の計算を暗黙的に学習するネットワークを構築可能であることが示された。
• 結果から、構造的算術を含む一部の認知的タスクは、記号的教師なしであっても、フレーム予測を通じて視覚的に学習可能である可能性が示唆された。