[논문 리뷰] Variational Positive-incentive Noise: How Noise Benefits Models

Hongyuan Zhang, Sida Huang외 2명|arXiv (Cornell University)|2023. 06. 13.

Image and Signal Denoising Methods인용 수 11

한 줄 요약

논문은 Variational Positive-incentive Noise (VPN)를 도입하여 변분 추론으로 pi-noise를 학습시키고, VPN 생성기를 학습 중 및 추론 중 노이즈를 추가하도록 훈련시켜 기본 모델의 아키텍처를 바꾸지 않고 성능을 높인다.

ABSTRACT

A large number of works aim to alleviate the impact of noise due to an underlying conventional assumption of the negative role of noise. However, some existing works show that the assumption does not always hold. In this paper, we investigate how to benefit the classical models by random noise under the framework of Positive-incentive Noise (Pi-Noise). Since the ideal objective of Pi-Noise is intractable, we propose to optimize its variational bound instead, namely variational Pi-Noise (VPN). With the variational inference, a VPN generator implemented by neural networks is designed for enhancing base models and simplifying the inference of base models, without changing the architecture of base models. Benefiting from the independent design of base models and VPN generators, the VPN generator can work with most existing models. From the experiments, it is shown that the proposed VPN generator can improve the base models. It is appealing that the trained variational VPN generator prefers to blur the irrelevant ingredients in complicated images, which meets our expectations.

연구 동기 및 목표

• Task entropy를 감소시켜 학습 과제를 단순화하자는 positively-incentivized noise (pi-noise)의 사용을 동기화한다.
• pi-noise를 근사하고 신경망을 통한 실용적 학습을 가능하게 하는 변분 상한을 제안한다.
• 아키텍처에 무관하고 기존 분류기에 플러그인할 수 있는 VPN 생성기를 개발한다.
• 여러 데이터셋과 기본 모델에서 VPN이 정확도를 향상시킨다는 것을 실험으로 입증한다.]
• method
• Define task entropy H(T) over the data distribution and mutual information I(T,E) between task and noise.
• Derive a variational lower bound of I(T,E) and introduce a tractable objective L_VPN using q(y|x,ε) to approximate p(y|x,ε).
• Use reparameterization to sample noise ε ~ N(0, I) with a learnable diagonal covariance Σ(x,y) to form ε = ε̂ ∘ diag(Σ).
• Model q(y|x,ε) via the base model’s output (softmax over augmented input x+ε) to avoid altering base architectures.
• Train the VPN generator G_θ jointly with the base model φ, optionally during training or after training the base model.
• Provide a practical training and testing algorithm for Gaussian pi-noise and show visualizations of learned noise patterns.

제안 방법

• Task entropy H(T)를 데이터 분포 및 노 noise 간의 상호정보 I(T,E)로 정의한다.
• I(T,E)의 변분 하한을 도출하고 p(y|x,ε)을 근사하기 위해 q(y|x,ε)를 사용하는 tractable objective L_VPN를 도입한다.
• 학습 가능한 대각 공분산 Σ(x,y)로 ε = ε̂ ∘ diag(Σ) 형태의 소음 ε ~ N(0, I)를 재매개변수화 방식으로 샘플링한다.
• 기반 모델의 출력(확률 벡터의 소프트맥스)을 통해 q(y|x,ε)를 모델링하여 기본 아키텍처를 변경하지 않는다.
• VPN 생성기 G_θ를 기본 모델 φ와 함께 학습시키거나, 기본 모델 학습 중이거나 학습 후에 함께 훈련시킨다.
• 가우시안 pi-noise에 대한 실용적 학습 및 추론 알고리즘을 제공하고 학습된 노이즈 패턴의 시각화를 보여준다.

실험 결과

연구 질문

• RQ1 다 variational하게 학습된 pi-noise 생성기가 기존 기본 모델의 아키텍처를 변경하지 않고도 일관되게 성능을 향상시킬 수 있는가?
• RQ2 어떤 형태의 pi-noise(예: 학습된 공분산을 갖는 가우시안)가 H(T|E) 를 가장 효과적으로 감소시키고 데이터셋 전반에서 정확도를 향상시키는가?
• RQ3 VPN이 주로 이미지에서 배경/무용지 부분을 흐리게 하여 분류 과제를 단순화하는가?
• RQ4 VPN을 기본 모델과 함께 공동으로 학습할 때와 기본 모델 학습 후에 사용할 때 성능 차이가 있는가?
• RQ5 학습된 잡음 강도가 증가하는 복잡도에 따라 안정성과 제어가 잘 가능한가?

주요 결과

• VPN 학습은 Fashion-MNIST, CIFAR-10 및 Tiny ImageNet에서 다양한 설정에서 기본 모델의 정확도를 일관되게 향상시킨다.
• 무작위 가우시안 노이즈와 비교하여 VPN은 더 안정적이고 종종 더 큰 정확도 향상을 제공한다.
• 학습된 pi-noise는 이미지의 배경이나 무용지 요소를 흐리게 하여 조건부 과제 엔트로피 H(T|E)를 감소시키는 경향이 있다.
• VPN과 기본 모델의 공동 학습은 견고한 개선을 가져오며, 추론 시 학습된 VPN을 사용하면 이득이 더 안정화된다.
• 노이즈 샘플 크기 m이 수렴 속도를 빠르게 하지만, m=1이어도 경쟁력 있는 결과를 내므로 접근법이 계산적으로 실용적이다.