[論文レビュー] Variational Positive-incentive Noise: How Noise Benefits Models

Hongyuan Zhang, Sida Huang+2 more|arXiv (Cornell University)|Jun 13, 2023

Image and Signal Denoising Methods被引用数 11

ひとこと要約

この論文は Variational Positive-incentive Noise（VPN）を導入し、 Variational inference を介して pi-noise を学習し、VPN ジェネレーターを訓練して訓練時と推論時にノイズを追加することで、アーキテクチャを変更せずにベースモデルを向上させます。

ABSTRACT

A large number of works aim to alleviate the impact of noise due to an underlying conventional assumption of the negative role of noise. However, some existing works show that the assumption does not always hold. In this paper, we investigate how to benefit the classical models by random noise under the framework of Positive-incentive Noise (Pi-Noise). Since the ideal objective of Pi-Noise is intractable, we propose to optimize its variational bound instead, namely variational Pi-Noise (VPN). With the variational inference, a VPN generator implemented by neural networks is designed for enhancing base models and simplifying the inference of base models, without changing the architecture of base models. Benefiting from the independent design of base models and VPN generators, the VPN generator can work with most existing models. From the experiments, it is shown that the proposed VPN generator can improve the base models. It is appealing that the trained variational VPN generator prefers to blur the irrelevant ingredients in complicated images, which meets our expectations.

研究の動機と目的

• 学習タスクを簡素化するために、タスクエントロピーを低減させる positively-incentivized noise（pi-noise）の利用を動機づける。
• pi-noise を近似する変分境界を提案し、ニューラルネットワークを用いた実用的な訓練を可能にする。
• アーキテクチャに依存しない VPN ジェネレータを開発し、既存の分類器に組み込むことができる。
• 複数のデータセットと基礎モデルに対して、VPN が精度を向上させることを実験を通じて示す。

提案手法

• データ分布上のタスクエントロピー H(T) とタスクとノイズの相互情報 I(T,E) を定義する。
• I(T,E) の変分下限を導出し、p(y|x,ε) を近似するために q(y|x,ε) を用いた実用的な目的関数 L_VPN を導入する。
• 再 parameterization を用いて ε ~ N(0, I) をサンプルし、学習可能な対角共分散 Σ(x,y) を使って ε = ε̂ ∘ diag(Σ) を形成する。
• ベースモデルの出力（拡張入力 x+ε に対する softmax）を用いて q(y|x,ε) をモデル化し、ベースのアーキテクチャを変更しない。
• VPN ジェネレータ G_θ を基礎モデル φ と共に訓練し、基礎モデルの訓練中または訓練後に組み込むオプションを取る。
• ガウス pi-noise の実用的な訓練および推論アルゴリズムを提供し、学習されたノイズパターンの可視化を示す。

実験結果

リサーチクエスチョン

• RQ1 変分的に学習された pi-noise ジェネレータは、アーキテクチャを変更することなく、既存の基礎モデルの性能を一貫して改善できるか？
• RQ2 pi-noise のどの形（例: 学習された共分散を持つガウス分布）が最も効果的にタスクエントロピー H(T|E) を低減し、データセット間で精度を向上させるか？
• RQ3 VPN は主に画像の背景/無関係な領域をぼかして分類タスクを単純化するのか？
• RQ4 VPN を基礎モデルと共同して訓練した場合と、基礎モデルを訓練した後に訓練した場合の性能はどうなるか？
• RQ5 学習されたノイズ強度は、複雑さの増すデータセットに対して制御され安定しているか？

主な発見

• VPN 訓練は Fashion-MNIST、CIFAR-10、Tiny ImageNet の基礎モデル精度を一貫して向上させる。
• ランダムガウスノイズと比較して、VPN はより安定した、しばしば大きな精度向上を提供する。
• 学習された pi-noise は画像の背景や無関係な要素をぼかす傾向があり、条件付きタスクエントロピー H(T|E) を低減する。
• VPNと基礎モデルの共同訓練は堅牢な改善をもたらし、推論時に訓練済み VPN を使用すると利益がさらに安定する。
• ノイズのサンプルサイズ m を大きくすると収束が速くなるが、たとえ m=1 でも競争力のある結果を得られ、計算的実用性が確保される。