[論文レビュー] The Role of Typicality in Object Classification: Improving The Generalization Capacity of Convolutional Neural Networks

Babak Saleh, Ahmed Elgammal+1 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Neural Network Applications参考文献 31被引用数 10

ひとこと要約

本稿では、外部的および内部的な典型性信号を用いて訓練サンプルの典型性に基づいて重みを付けることで、畳み込みニューラルネットワーク（CNN）の一般化性能を向上させる手法を提案する。MS-Hinge損失を用いて典型性を損失関数に組み込むことで、微調整を施さずに、特異なテスト画像において最大44.73%の精度向上を達成し、ベースラインおよびランダム重み付け手法を上回る性能を発揮する。

ABSTRACT

Deep artificial neural networks have made remarkable progress in different tasks in the field of computer vision. However, the empirical analysis of these models and investigation of their failure cases has received attention recently. In this work, we show that deep learning models cannot generalize to atypical images that are substantially different from training images. This is in contrast to the superior generalization ability of the visual system in the human brain. We focus on Convolutional Neural Networks (CNN) as the state-of-the-art models in object recognition and classification; investigate this problem in more detail, and hypothesize that training CNN models suffer from unstructured loss minimization. We propose computational models to improve the generalization capacity of CNNs by considering how typical a training image looks like. By conducting an extensive set of experiments we show that involving a typicality measure can improve the classification results on a new set of images by a large margin. More importantly, this significant improvement is achieved without fine-tuning the CNN model on the target image set.

研究の動機と目的

• 訓練データとは著しく異なる特異な画像に対するCNNの一般化性能の限界を解消すること。
• 大規模な訓練データを用いても、最先端のCNNがなぜ特異な画像で失敗するのかを解明すること。
• 新しいデータに対して微調整を要せず、典型性に配慮した訓練が一般化性能を向上させられるかを検討すること。
• 外部的および内部的な典型性信号の有効性を評価し、モデルのロバストネス向上に寄与するかを検証すること。
• 一般化性能を向上させるために、典型的および特異的サンプルの最適な重み付け戦略を特定すること。

提案手法

• 著者らは、MS-Hinge損失を用いた典型性重み付き損失関数を導入し、訓練サンプルをその典型性スコアに応じて重みづけする。
• 典型性スコアは、画像特徴量を用いた1クラスSVMによる外部的算出、またはネットワーク活性化（例：内部確率やエントロピー）による内部的算出が行われる。
• 線形、対数、指数、多項式などの異なる関数を用いて、典型性スコアをサンプル重みに変換する。
• 交差エントロピー損失と典型性に基づく重み付けを組み合わせた修正された損失関数を用いてモデルを学習させ、より良い表現学習を促進する。
• 微調整は小規模な検証セットに対して一度だけ実施され、性能は典型的および特異的なテストセットで評価される。
• 本手法は、AlexNetなどの複数のCNNアーキテクチャおよびImageNetやPASCALなどの複数のデータセットで検証されている。

実験結果

リサーチクエスチョン

• RQ1 訓練損失に典型性情報を組み込むことで、CNNの特異な画像への一般化性能が向上するか？
• RQ2 外部的（例：1クラスSVM）または内部的（例：ネットワーク活性化統計）の典型性信号を用いることで、性能が向上するか？
• RQ3 典型的および特異的サンプルを対称的に重みづけする戦略は、標準的またはランダム重み付けと比較して一般化性能にどのように影響するか？
• RQ4 典型性に基づく訓練は、1回の学習エポックで収束が速くなり、より高い性能を達成するか？
• RQ5 大規模な訓練データを用いても、なぜCNNが特異な画像で失敗するのか、また、典型性に基づく再重み付けがこの問題を緩和できるか？

主な発見

• 提案手法の典型性重み付き訓練により、AlexNetを用いた特異なテスト画像でのトップ-1精度が44.73%に達し、ベースライン（30.03%）と比較して14.7%の向上を達成した。
• ランダム重み付けや典型性を考慮しない重み付け手法を上回り、多項式関数（次数6）が特異なデータセットで最高の精度を記録した。
• 1回の学習エポック後でも、典型性重み付けを用いることで特異な画像で52.72%の精度に達したのに対し、標準的訓練では48.40%にとどまった。
• PASCAL画像での微調整はImageNetよりも高い性能向上をもたらしたため、PASCALのデータに高い多様性があることが、典型性重み付けの恩恵を高めていると考えられる。
• より深い層（例：上位3つの全結合層）の微調整は、限られたデータに対する過学習のため、特異な画像の一般化性能を低下させた。
• 内部典型性信号（例：内部エントロピーや確率）も競争力のある性能を示し、ネットワーク自体から典型性情報が抽出可能であることを示した。