[論文レビュー] Can Deep Neural Networks Match the Related Objects?: A Survey on ImageNet-trained Classification Models

Han S. Lee, Heechul Jung+2 more|arXiv (Cornell University)|Sep 12, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 6

ひとこと要約

この論文は、認知心理学にインspiredされた実験を用いて、ImageNetで訓練された深層ニューラルネットワーク（DNN）が、物体クラス間の意味的関連性を認識できるかを調査している。DNNは視覚的類似性に基づく関連性（例：サルとパンダ）を優れた性能で検出できるが、機能的関連性に基づく関連性（例：サルとバナナ）には失敗することが判明し、分類精度を超えた概念的理解における重要な限界を明らかにした。

ABSTRACT

Deep neural networks (DNNs) have shown the state-of-the-art level of performances in wide range of complicated tasks. In recent years, the studies have been actively conducted to analyze the black box characteristics of DNNs and to grasp the learning behaviours, tendency, and limitations of DNNs. In this paper, we investigate the limitation of DNNs in image classification task and verify it with the method inspired by cognitive psychology. Through analyzing the failure cases of ImageNet classification task, we hypothesize that the DNNs do not sufficiently learn to associate related classes of objects. To verify how DNNs understand the relatedness between object classes, we conducted experiments on the image database provided in cognitive psychology. We applied the ImageNet-trained DNNs to the database consisting of pairs of related and unrelated object images to compare the feature similarities and determine whether the pairs match each other. In the experiments, we observed that the DNNs show limited performance in determining relatedness between object classes. In addition, the DNNs present somewhat improved performance in discovering relatedness based on similarity, but they perform weaker in discovering relatedness based on association. Through these experiments, a novel analysis of learning behaviour of DNNs is provided and the limitation which needs to be overcome is suggested.

研究の動機と目的

• ImageNetで訓練されたDNNが、物体クラス間の意味的関連性を認識できるかを調査すること。
• 意味的に類似または相互作用する物体クラス間の関係を学習する際のDNNの限界を分析すること。
• 意味的関連性を含む対となる物体ペアと関連のないペアを含む認知心理学データセット上でDNNのパフォーマンスを評価すること。
• 2種類の関連性を区別すること：視覚的または階層的特徴の共有に基づく類似性に基づく関連性と、機能的または文脈的相互作用に基づく関連性。

提案手法

• 認知心理学のペア画像データセット（関連のあるペアと関連のないペアを含む）に、事前学習済みのImageNet DNN（例：ResNet）を適用した。
• DNNの最終畳み込み層からの特徴埋め込みを計算し、ペア間のコサイン類似度を測定することで関連性を評価した。
• 関連ペアの類似度が非関連ペアを上回れば、ペアを「一致」と分類した。
• ImageNet分類の失敗事例を用いて、DNNがクラス間の意味的関係を完全に学習していないと仮説を立てた。
• DNNの推論におけるパターンを特定するために、「最良」および「最悪」の一致事例について定性的および定量的分析を実施した。
• DNNの類似性に基づく関連性と機能的関連性の両方に対するパフォーマンスを比較し、意味的理解の深さを評価した。

実験結果

リサーチクエスチョン

• RQ1 ImageNetで訓練されたDNNは、物体クラス間の意味的関連性を効果的に特定できるか？
• RQ2 DNNの関連性マッチングにおけるパフォーマンスは、ImageNet分類精度と相関しているか？
• RQ3 DNNは、物体ペアの類似性に基づく関連性と機能的関連性を区別できるか？
• RQ4 なぜDNNは視覚的類似性ではなく機能的相互作用に基づく意味的関連性を持つペア（例：サルとバナナ）をマッチさせることができないのか？
• RQ5 DNNは、クラスレベルの識別を超えて、どの程度意味的関係を学習しているのか？

主な発見

• DNNは、視覚的類似性ではなく機能的関連性に基づく関連性の特定において、限られたパフォーマンスを示す。
• DNNの関連性マッチングにおけるパフォーマンスは、一般にImageNet分類精度に比例しており、意味的関連性が間接的に学習されている可能性を示唆している。
• DNNは、視覚的または階層的特徴の共有があるため、類似性に基づく関連性（例：サルとパンダ）を効果的に検出できる。
• DNNは、外観ではなく相互作用や文脈に基づく関連性（例：サルとバナナ）に対して著しく苦労する。
• 「最悪」のマッチング事例は常に機能的関連性に基づくペアを含んでおり、DNNが文脈的または機能的関係をモデル化する能力に根本的なギャップがあることを示している。
• 機能的関連性を学習できないことは、現在のDNNの学習目的が、視覚的識別を超えた概念的推論を十分に促進していない可能性を示唆している。