[論文レビュー] IQ of Neural Networks

Dokhyam Hoshen, Michael Werman|arXiv (Cornell University)|Sep 29, 2017

Neural Networks and Applications参考文献 14被引用数 16

ひとこと要約

本論文では、回転、反転、スケーリング、色の変更などの変換を学習することで、IQテストの幾何的パターン認識問題を解く畳み込みニューラルネットワーク（CNN）モデルを提案する。合成データで訓練されたモデルは、実際のIQテストの問題において上位5%の人的パフォーマンスを達成し、40問中38問正解するという95%の正答率を示し、現実世界のパターン認識タスクへの強力な一般化能力を示している。

ABSTRACT

IQ tests are an accepted method for assessing human intelligence. The tests consist of several parts that must be solved under a time constraint. Of all the tested abilities, pattern recognition has been found to have the highest correlation with general intelligence. This is primarily because pattern recognition is the ability to find order in a noisy environment, a necessary skill for intelligent agents. In this paper, we propose a convolutional neural network (CNN) model for solving geometric pattern recognition problems. The CNN receives as input multiple ordered input images and outputs the next image according to the pattern. Our CNN is able to solve problems involving rotation, reflection, color, size and shape patterns and score within the top 5% of human performance.

研究の動機と目的

• 人的知能を測定することを目的としたタスク、特にIQテストにおけるパターン認識を直接深層学習モデルで評価すること。
• 回転、反転、スケーリング、色、形状の追加といった幾何的変換を学習・一般化できるニューラルネットワークの開発。
• 特にレイバンのプログレッシブマトリクスを対象として、機械学習のパフォーマンスを人的パフォーマンスと比較すること。
• CNNのオープンエンドドIQ質問における高精細な画像出力の生成における限界を調査し、現実的で自然な視覚パターンへの転送可能性を評価すること。
• モデルの確信度スコア（確率）を用いて質問の難易度と混乱度を評価し、適応型テストを改善すること。

提案手法

• 各画像が前の画像を所定の幾何的操作で変換した結果である画像系列から成る合成データセット上でCNNを訓練する。
• 複数選択肢形式の選択と、次の画像を予測する直接的な画像生成（回帰）の2通りの評価モードを用いる。
• 回転、スケーリング、反転、形状の追加、色の変更、オブジェクト数の変更などを含む変換を用いたデータオーグメンテーションを実施する。
• 入力画像を符号化し、予測出力を復号化する自己符号化器ベースのアーキテクチャを採用し、正解と予測の間の平均二乗誤差（MSE）を最小化する。
• イスラエル国立試験評価研究所の実世界のIQテスト問題を用いて、ホールドアウトされたテストセット40問でモデルをテストする。
• 入力および出力にガウスノイズ（σ = 99）を追加することで、モデルのロバストネスを評価し、現実世界の視覚的ノイズを模擬する。

実験結果

リサーチクエスチョン

• RQ1 CNNは、明示的な教師信号なしに、画像系列から回転、反転、スケーリングなどの幾何的変換を学習・一般化できるか？
• RQ2 深層学習モデルのIQ風パターン認識タスクにおけるパフォーマンスは、人的パフォーマンスと比べてどの程度か？
• RQ3 ニューラルネットワークと人間の両者にとって、回転と色の変更などの異なる変換タイプの相対的な難易度はどの程度か？
• RQ4 合成データで訓練されたモデルは、複雑で現実的形状を有する実際のIQテスト問題へどの程度一般化できるか？
• RQ5 モデルの確信度スコア（確率）は、適応型テストの質問の難易度と混乱度を評価するために使用可能か？

主な発見

• 本モデルは、イスラエル国立試験評価研究所の実際のIQテストセットにおいて、40問中38問正解し、95%の正答率を達成。人的パフォーマンス上位5%に位置づけられる。
• 全変換タイプの平均平均二乗誤差（MSE）は3.5×10⁻⁴であり、反転（4.1×10⁻⁴）と回転（5.7×10⁻⁴）タスクで最も高い誤差を示し、学習の難易度が高かったことを示している。
• ノイズ環境下でもモデルは頑健に動作し、複数選択肢形式の誤差率が5%改善（クリーンデータ時91%対ノイズ時87%）を示し、視覚的ノイズに対して耐性があることが示された。
• 複雑で現実的な形状を有するオープンエンド（回帰）形式では、モデルが明確で高精細な画像出力を生成できず、自然な視覚パターンへの転移学習における限界が顕在化した。
• 実証的結果から、反転と回転タスクはモデルと人間の両者にとってより困難であることが確認され、IQテストにおける既知の人間認知的難易度と整合的である。
• 色とスケーリング変換タスクでは、回転／反転と比較して推定パrameter数が少ないので、MSEが2.1×10⁻⁴（色）および2.4×10⁻⁴（スケーリング）と優れた性能を示した。