[論文レビュー] Towards an Understanding of Neural Networks in Natural-Image Spaces

Yifei Fan, Anthony Yezzi|arXiv (Cornell University)|Jan 27, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用数 3

ひとこと要約

この論文は、幾何学的および位相的原則を通じて自然画像空間をモデル化することにより、深層ニューラルネットワークにおけるデータセットバイアスと adversarial examples の統一的説明を提案する。一貫して誤分類される見かけの訓練サンプルを特定し、訓練中に「ランダムノイズ」カテゴリを導入することで、耐性と精度が向上する。追加のハードウェアを必要とせず、3%のテスト精度向上を達成するとともに、過学習が減少し一般化性能が向上する。

ABSTRACT

Two major uncertainties, dataset bias and adversarial examples, prevail in state-of-the-art AI algorithms with deep neural networks. In this paper, we present an intuitive explanation for these issues as well as an interpretation of the performance of deep networks in a natural-image space. The explanation consists of two parts: the philosophy of neural networks and a hypothetical model of natural-image spaces. Following the explanation, we 1) demonstrate that the values of training samples differ, 2) provide incremental boost to the accuracy of a CIFAR-10 classifier by introducing an additional "random-noise" category during training, 3) alleviate over-fitting thereby enhancing the robustness against adversarial examples by detecting and excluding illusive training samples that are consistently misclassified. Our overall contribution is therefore twofold. First, while most existing algorithms treat data equally and have a strong appetite for more data, we demonstrate in contrast that an individual datum can sometimes have disproportionate and counterproductive influence and that it is not always better to train neural networks with more data. Next, we consider more thoughtful strategies by taking into account the geometric and topological properties of natural-image spaces to which deep networks are applied.

研究の動機と目的

• 深層学習における持続的な不確実性、すなわちデータセットバイアスと adversarial examples を、自然画像空間の幾何学的・位相的構造を分析することで解決すること。
• より多くの訓練データが常に性能を向上させるという仮定に挑戦し、個々のサンプルが不釣り合いな、場合によっては逆効果の影響を持つことを示すこと。
• 一貫して誤分類される「見かけの」サンプルを検出し、再分類することで、耐性と精度を向上させるデータに依存する訓練戦略を開発すること。
• 商空間と同値類に基づく自然画像空間の仮説的モデルを提案し、より効果的なネットワーク訓練を導くこと。

提案手法

• 訓練中に新しい「ランダムノイズ」カテゴリを導入し、CIFAR-10分類器の精度を段階的に向上させることで、ノイズですら性能向上に寄与することを実証する。
• 一貫して誤分類される「見かけの」訓練サンプルを特定・除外することで、過学習を低減し、adversarial examples に対する耐性を向上させる。
• 訓練中に累積誤り行列を構築し、高い誤分類頻度に基づいて見かけのサンプルを同定する。
• 商空間モデルを用いて画像の同値類を分割し、見かけのサンプルを新しいカテゴリに再ラベル付けし、それらのための別個の分類器を訓練する。
• 推論時にルックアップテーブルまたは意思決定木を用い、見かけのテストサンプルを専用分類器にルーティングすることで、全体の精度を向上させる。
• 画像空間の下位幾何構造に適応した良好な整合性のおかげで、過学習が減少したため、より高い学習率でネットワークを訓練できる。

実験結果

リサーチクエスチョン

• RQ1 自然画像空間の幾何学的および位相的性質は、データセットバイアスと adversarial examples にどのように寄与するか？
• RQ2 意味的コンテンツの欠如にもかかわらず、ランダムノイズカテゴリでの訓練が分類器の精度を向上させられるか？
• RQ3 個々の訓練サンプル、特に一貫して誤分類されるサンプルが、モデルの一般化性能と耐性に及ぼす影響はどの程度か？
• RQ4 画像の同値類の商空間モデルは、モデルの複雑性を増加させることなく、分類精度と耐性を向上させられるか？
• RQ5 訓練サンプルの質と影響は、どのように測定され、ネットワーク性能の向上に活用できるか？

主な発見

• 訓練中にランダムノイズカテゴリを追加したことで、クリーンなテスト画像におけるCIFAR-10分類器の精度が3%向上した。これは、意味的でないデータでも性能向上に寄与しうることを示している。
• 一貫して誤分類される見かけの訓練サンプルを除外することで、adversarial examples に対する耐性が顕著に向上した。
• この手法により、クリーンサンプルの精度にわずかな低下を伴いながらも、adversarial 例における精度が向上し、一部の状況では標準的な adversarial 訓練を上回った。
• 提案された戦略により、過学習が減少したため、より高い学習率での訓練が可能となり、最適化の安定性が向上したことが示された。
• 累積誤り行列は見かけのサンプルを効果的に同定でき、この手法が問題のある訓練インスタンスを検出できる能力を裏付けた。
• 商空間モデルにより、専用分類器とルックアップ機構を介して困難なサンプルを分離・再分類することで、3%の精度向上を達成した。