[論文レビュー] Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study

Samuel Ritter, David G. T. Barrett+2 more|arXiv (Cornell University)|Jun 26, 2017

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 61

ひとこと要約

この論文は認知心理学の探査を深層ニューラルネットワークに適用し、ワンショット語彙学習における形状バイアスを検証する。InceptionとMatching Networksは形状バイアスを示し、シードや学習中での強い分散があり、入力から下流の構成要素へとバイアスが伝播する。

ABSTRACT

Deep neural networks (DNNs) have achieved unprecedented performance on a wide range of complex tasks, rapidly outpacing our understanding of the nature of their solutions. This has caused a recent surge of interest in methods for rendering modern neural systems more interpretable. In this work, we propose to address the interpretability problem in modern DNNs using the rich history of problem descriptions, theories and experimental methods developed by cognitive psychologists to study the human mind. To explore the potential value of these tools, we chose a well-established analysis from developmental psychology that explains how children learn word labels for objects, and applied that analysis to DNNs. Using datasets of stimuli inspired by the original cognitive psychology experiments, we find that state-of-the-art one shot learning models trained on ImageNet exhibit a similar bias to that observed in humans: they prefer to categorize objects according to shape rather than color. The magnitude of this shape bias varies greatly among architecturally identical, but differently seeded models, and even fluctuates within seeds throughout training, despite nearly equivalent classification performance. These results demonstrate the capability of tools from cognitive psychology for exposing hidden computational properties of DNNs, while concurrently providing us with a computational model for human word learning.

研究の動機と目的

• 認知心理学の方法と仮説を輸入することにより、DNNの解釈可能な分析を動機づける。
• 最先端のワンショット学習モデルが人間と同様の形状バイアスを示すかを検証する。
• 高い分類精度を維持しつつ、シード間および学習中の形状バイアスの変動性を検討する。
• 形状バイアスが人間のワンショット語彙学習の計算的説明として機能する可能性を提案する。

提案手法

• 認知心理学の形状バイアス実験をDNNに適応させ、形状・色・プローブ画像の三つ組を含む探査データセット（CogPsyc）を作成する。
• 事前学習済みInception特徴を用いた最近傍分類によるInception Baseline (IB)のワンショット分類器を評価する。
• ImageNetで訓練した注意機構ベースの埋め込みとメモリモジュールを備えたMatching Networks (MN)をワンショット学習に用いる。
• 形状一致でラベル付けされたプローブの割合として形状バイアスB_sを計算する、すなわち B_s = E(δ(ŷ − y_s)).
• 現れ方と変動性を分析するため、複数のシード、データセット（CogPsycおよび実世界データ）、および学習段階を横断してバイアスを評価し、出現と変動を分析する。

実験結果

リサーチクエスチョン

• RQ1 ImageNetで訓練された最先端のDNNは、ワンショット語彙学習タスクにおいて人間に似た形状バイアスを示すか？
• RQ2 形状バイアスは初期化シードおよび訓練中にどのように変化するか？
• RQ3 観察されたバイアスはモデルアーキテクチャ（Inception対Matching Networks）と入力特徴量の間で一貫しているか？
• RQ4 モデルを連結してIBからMNへチェーンする場合、形状バイアスはモデルの構成要素間で伝播するか？

主な発見

• Inception Baseline は CogPsyc データで形状バイアス B_s = 0.68 を示し、実世界データでは B_s = 0.97。
• Matching Networks は CogPsyc データで B_s = 0.7、実世界データで B_s = 1 を示す。
• 形状バイアスはシード間でかなり変動する（IB: 学習終盤の平均 B_s = 0.628、SD 0.049；実世界データ: 平均 0.958、SD 0.037）。
• IBモデルでは学習初期段階で形状バイアスが出現し、収束前に現れる。
• MNは入力特徴からIBバイアスを継承し、訓練中もそれを保持する（有意な変化はなし）。
• 訓練中のIBではバイアスの変動が大きいが、MNではそうではなく、モジュール間でのバイアス伝播を示している。