[논문 리뷰] NoisyNN: Exploring the Impact of Information Entropy Change in Learning Systems

Xiaowei Yu, Huang, Zhe외 4명|arXiv (Cornell University)|2023. 09. 19.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 정보 엔트로피를 낮춰 작업 복잡도를 감소시켜 최신 기술 수준 성능을 달성하기 위해 딥러닝 모델에 선제적으로 양의 노이즈를 주입하는 NoisyNN 프레임워크를 소개한다. 노이즈를 양의(엔트로피 감소)와 해로운 유형으로 분류함으로써, 저자들은 통제된 노이즈 주입이 정확도를 향상시킨다는 것을 입증한다—이로 인해 ImageNet에서 95% 이상의 top-1 정확도와 도메인 어댑테이션 분야에서 최신 기술 수준 성능을 달성한다. 이는 일반적으로 노이즈가 해로운 것으로 간주되는 전통적 관점에 도전한다.

ABSTRACT

We investigate the impact of entropy change in deep learning systems by noise injection at different levels, including the embedding space and the image. The series of models that employ our methodology are collectively known as Noisy Neural Networks (NoisyNN), with examples such as NoisyViT and NoisyCNN. Noise is conventionally viewed as a harmful perturbation in various deep learning architectures, such as convolutional neural networks (CNNs) and vision transformers (ViTs), as well as different learning tasks like image classification and transfer learning. However, this work shows noise can be an effective way to change the entropy of the learning system. We demonstrate that specific noise can boost the performance of various deep models under certain conditions. We theoretically prove the enhancement gained from positive noise by reducing the task complexity defined by information entropy and experimentally show the significant performance gain in large image datasets, such as the ImageNet. Herein, we use the information entropy to define the complexity of the task. We categorize the noise into two types, positive noise (PN) and harmful noise (HN), based on whether the noise can help reduce the task complexity. Extensive experiments of CNNs and ViTs have shown performance improvements by proactively injecting positive noise, where we achieved an unprecedented top 1 accuracy of 95$\%$ on ImageNet. Both theoretical analysis and empirical evidence have confirmed that the presence of positive noise, can benefit the learning process, while the traditionally perceived harmful noise indeed impairs deep learning models. The different roles of noise offer new explanations for deep models on specific tasks and provide a new paradigm for improving model performance. Moreover, it reminds us that we can influence the performance of learning systems via information entropy change.

연구 동기 및 목표

• 정보 엔트로피의 관점에서 노이즈의 역할을 재평가함으로써, 노이즈가 딥러닝 모델에 항상 악영향을 미친다는 전통적 가정을 도전하기 위해.
• 노이즈가 전략적으로 사용되어 작업 복잡도를 감소시키고 모델 일반화 능력을 향상시킬 수 있는지 조사하기 위해.
• 노이즈 유형(양의 노이즈 대 해로운 노이즈)을 분류하고 활용하여 성능 향상을 위한 체계적 프레임워크인 NoisyNN을 개발하기 위해.
• 다양한 아키텍처(CNNs, ViTs)와 작업(이미지 분류, 도메인 어댑테이션)을 통해 양의 노이즈 주입의 이점을 실증적으로 검증하기 위해.
• 정보 엔트로피 조작과 학습 효율성 향상에 노이즈를 도구로 사용할 수 있는 이론적 및 실증적 근거를 제공하기 위해.

제안 방법

• 노이즈는 딥 모델의 입력 이미지 공간과 잠재 공간 표현 수준에서 두 단계로 주입된다.
• 세 가지 노이즈 유형을 연구한다: 가우시안 노이즈, 선형 변환 노이즈, 소금과胡후 노이즈이며, 영향을 평가하기 위해 체계적으로 적용된다.
• 이론적 분석을 통해 성능 향상은 정보 엔트로피 최소화를 통한 작업 복잡도 감소와 관련이 있음을 밝힌다.
• 양의 노이즈(PN)는 작업 엔트로피를 감소시키는 노이즈로 정의되며, 해로운 노이즈(HN)는 이를 증가시키는 노이즈로, 이 엔트로피 기준에 기반한다.
• NoisyNN 프레임워크는 훈련 중에 노이즈 주입을 적용하며, 모델과 작업에 따라 하이퍼파라미터를 조정한다.
• 실험은 ViT-B와 ResNet-50 백본을 사용한 표준 벤치마크(ImageNet, Office-Home, VisDA2017)를 사용하며, 최신 기술 수준의 방법들과 비교한다.

실험 결과

연구 질문

• RQ1 노이즈 주입이 정보 엔트로피를 낮춰 작업 복잡도를 감소시켜 모델 성능을 향상시킬 수 있는가?
• RQ2 딥러닝 시스템에서 노이즈가 해로운 영향을 미치는 것이 아니라 긍정적 요소로 작용하는 조건은 무엇인가?
• RQ3 다양한 노이즈 유형(Gaussian, 선형 변환, 소금과胡후)이 CNN과 비전 트랜스포머의 엔트로피와 성능에 어떤 영향을 미치는가?
• RQ4 양의 노이즈 주입이 이미지 분류 및 도메인 어댑테이션 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 정보 엔트로피 감소가 성능 향상의 메커니즘으로서 기능하는 데 이론적 및 실증적 증거는 무엇인가?

주요 결과

• NoisyTVT-B를 사용하여 ImageNet에서 top-1 정확도 93.5%를 달성하여 이전 최신 기술 수준 모델을 초월했다.
• VisDA2017 벤치마크에서 NoisyTVT-B는 평균 정확도 90.0%를 기록하여 CDTrans-B 및 SSRT-B를 포함한 기존 방법들을 능가했다.
• Office-Home에서의 도메인 어댑테이션 작업에서 NoisyTVT-B는 평균 정확도 90.0%를 달성하여 이전 최신 기술 수준인 88.8% (SSRT-B)를 초월했다.
• 이론적 분석은 양의 노이즈가 정보 엔트로피를 감소시켜 작업 복잡도를 낮춤으로써 성능 향상의 체계적 근거를 제공함을 확인했다.
• 실증 결과는 양의 노이즈가 다양한 벤치마크에서 CNN 및 ViT 아키텍처 전반에 걸쳐 일관되게 성능 향상을 이끌어낸다는 것을 보여주었다.
• 이 연구는 노이즈가 항상 해로운 것은 아님을 입증한다—그 영향은 작업 엔트로피를 감소시키는지 증가시키는지에 따라 달라지며, 이는 딥러닝에서 노이즈의 역할을 재정의한다.