[論文レビュー] NoisyNN: Exploring the Impact of Information Entropy Change in Learning Systems

Xiaowei Yu, Huang, Zhe+4 more|arXiv (Cornell University)|Sep 19, 2023

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、情報エントロピーを低下させることでタスクの複雑さを軽減するため、深層学習モデルに意図的にポジティブなノイズを注入するNoisyNNというフレームワークを紹介している。ノイズをポジティブ（エントロピーを低下）と有害なタイプに分類することで、著者たちは制御されたノイズ注入が正確性を向上させることを示している。ImageNetでは95％を超えるトップ-1精度を達成し、ドメイン適応においても最先端の結果を出した。これは、ノイズが常に有害であるという従来の見方を覆すものである。

ABSTRACT

We investigate the impact of entropy change in deep learning systems by noise injection at different levels, including the embedding space and the image. The series of models that employ our methodology are collectively known as Noisy Neural Networks (NoisyNN), with examples such as NoisyViT and NoisyCNN. Noise is conventionally viewed as a harmful perturbation in various deep learning architectures, such as convolutional neural networks (CNNs) and vision transformers (ViTs), as well as different learning tasks like image classification and transfer learning. However, this work shows noise can be an effective way to change the entropy of the learning system. We demonstrate that specific noise can boost the performance of various deep models under certain conditions. We theoretically prove the enhancement gained from positive noise by reducing the task complexity defined by information entropy and experimentally show the significant performance gain in large image datasets, such as the ImageNet. Herein, we use the information entropy to define the complexity of the task. We categorize the noise into two types, positive noise (PN) and harmful noise (HN), based on whether the noise can help reduce the task complexity. Extensive experiments of CNNs and ViTs have shown performance improvements by proactively injecting positive noise, where we achieved an unprecedented top 1 accuracy of 95$\%$ on ImageNet. Both theoretical analysis and empirical evidence have confirmed that the presence of positive noise, can benefit the learning process, while the traditionally perceived harmful noise indeed impairs deep learning models. The different roles of noise offer new explanations for deep models on specific tasks and provide a new paradigm for improving model performance. Moreover, it reminds us that we can influence the performance of learning systems via information entropy change.

研究の動機と目的

• 情報エントロピーの観点から見直すことにより、ノイズが深層学習モデルに常に悪影響を及えるという従来の仮定に挑戦すること。
• ノイズが戦略的に使用され、タスクの複雑さを軽減し、モデルの一般化性能を向上させることの可能性を調査すること。
• ノイズの種類（ポジティブ対有害）を分類・活用するための体系的フレームワークであるNoisyNNを構築すること。
• さまざまなアーキテクチャ（CNN、ViT）およびタスク（画像分類、ドメイン適応）において、ポジティブなノイズの恩恵を実証的に検証すること。
• 情報エントロピーの操作と学習効率の向上を裏付ける理論的および実証的根拠を提供すること。

提案手法

• ノイズは、入力画像空間および深層モデルの潜在空間表現の2段階に注入される。
• ガウスノイズ、線形変換ノイズ、ソルトアンドペッパー・ノイズの3種類のノイズが、それぞれの影響を評価するために体系的に検討された。
• 理論的分析により、性能向上は情報エントロピーの最小化によるタスク複雑さの低減と関連づけられた。
• ポジティブノイズ（PN）は、タスクのエントロピーを低下させるノイズとして定義される。有害ノイズ（HN）は、エントロピーを増加させるノイズである。このエントロピー基準に基づく。
• NoisyNNフレームワークは、訓練中にノイズ注入を適用し、モデルおよびタスクごとにハイパーパrameterが最適化された。
• 実験では、ViT-BおよびResNet-50バックボーンを用いて、標準ベンチマーク（ImageNet、Office-Home、VisDA2017）を用い、最先端手法と比較した。

実験結果

リサーチクエスチョン

• RQ1 ノイズ注入によって情報エントロピーを低下させ、タスクの複雑さを軽減することで、モデル性能の向上が達成可能か？
• RQ2 深層学習システムにおいて、ノイズが悪影響を及えるのではなく、ポジティブ要因として機能する条件は何か？
• RQ3 ガウスノイズ、線形変換ノイズ、ソルトアンドペッパー・ノイズといった異なるノイズタイプは、CNNおよびビジョントランスフォーマーのエントロピーと性能にどのように影響を与えるか？
• RQ4 ポジティブなノイズ注入は、画像分類およびドメイン適応タスクで最先端の結果をもたらすか？
• RQ5 エントロピー低減が性能向上のメカニズムとして機能するという主張を裏付ける理論的および実証的証拠は何か？

主な発見

• NoisyTVT-Bを用いたImageNetにおけるトップ-1精度は93.5％に達し、以前の最先端モデルを上回った。
• VisDA2017ベンチマークでは、NoisyTVT-Bが平均90.0％の精度を達成し、CDTrans-BやSSRT-Bを含む既存手法を上回った。
• Office-Homeにおけるドメイン適応タスクでは、NoisyTVT-Bが平均90.0％の精度を記録し、以前の最先端の88.8％（SSRT-B）を上回った。
• 理論的分析により、ポジティブなノイズが情報エントロピーの低減によってタスク複雑さを低下させることを確認し、性能向上の根拠を明確にした。
• 実証的結果から、ポジティブなノイズは、複数のベンチマークにおいてCNNおよびViTアーキテクチャの両方で一貫して性能を向上させることを示した。
• 本研究は、ノイズが常に有害ではないことを示した。その影響は、タスクエントロピーを低下させるか増加させるかに依存し、深層学習におけるノイズの役割を再定義するものである。