[논문 리뷰] On the Role of Reversible Instance Normalization

Gaspard Berthelier, Tahar Nabil외 4명|arXiv (Cornell University)|2026. 03. 12.

Forecasting Techniques and Applications인용 수 0

한 줄 요약

이 논문은 시간 시계열 예측을 위한 Reversible Instance Normalization(RevIN)의 필요 구성 요소를 보여주고 분포 이동 하에서 RevIN이 어디에서 미흡한지 분석한다. 벤치마크를 통한 ablations를 제공하여 강건성과 일반화 향상을 위한 가이드를 제시한다.

ABSTRACT

Data normalization is a crucial component of deep learning models, yet its role in time series forecasting remains insufficiently understood. In this paper, we identify three central challenges for normalization in time series forecasting: temporal input distribution shift, spatial input distribution shift, and conditional output distribution shift. In this context, we revisit the widely used Reversible Instance Normalization (RevIN), by showing through ablation studies that several of its components are redundant or even detrimental. Based on these observations, we draw new perspectives to improve RevIN's robustness and generalization.

연구 동기 및 목표

• 시간 시계열 예측에서 정규화가 직면하는 도전 과제(시간적, 공간적, 조건적 분포 이동)를 식별한다.
• 제어된 ablation을 통해 Reversible Instance Normalization(RevIN)의 구성 요소를 평가한다.
• RevIN의 구성 요소 중 실제로 유용한 것이 무엇이며 어떤 조건에서 일반화에 도움이 되거나 해를 끼치는지 판단한다.

제안 방법

• 시계열 예측을 위한 신경망에서 사용되는 정규화 방법을 검토하고 분류한다.
• 일관된 PatchTST 백본을 사용하여 표준 예측 벤치마크(Electricity, Solar, Traffic, Synthetic)에서 RevIN에 대한 광범위한 ablation 연구를 수행한다.
• 표준 역전파와 정규화된 역전파 하에서 표준, RevIN, affine 없이 RevIN 등 정규화 전략을 비교한다.
• Affine 계층(α, β)의 역할과 정규화된 공간과 비정규화된 공간에서의 학습 효과를 분석한다.
• 이질성, 조건적 이동, RevIN의 한계에 대한 실증적 및 정성적 논의를 제공한다.

(a) Temporal shift.

실험 결과

연구 질문

• RQ1 RevIN이 시계열 예측에서 시간적 및 공간적 분포 이동을 완화하는가?
• RQ2 RevIN의 추가적인 affine 계층(α, β)이 조건적 이동 처리에 유리한가?
• RQ3 최적 일반화를 위해 학습은 정규화 공간에서 이루어져야 하는가, 아니면 비정규화 공간에서 이루어져야 하는가?
• RQ4 이질성 또는 정지된 편향으로 인해 RevIN이 데이터 조건에서 성능을 해칠 수 있는 경우는 어떤가?
• RQ5 조건적 분포 이동에서 RevIN의 한계를 해결하기 위한 확장이나 대안은 무엇인가?

주요 결과

• 인스턴스 정규화는 일반적으로 새로운 날짜와 새로운 사용자에 대해 일반화 성능을 향상시키며, 이는 RevIN이 시간적 및 공간적 이동에 도움을 준다는 것을 시사한다.
• Affine 계층(α, β)은 실무적으로 유익하지 않으며 조건적 이동을 효과적으로 완화하지 못한다.
• 역전파로 정규화된 공간에서 모델을 학습하면, 비정규화된 MSE로 평가하더라도 더 나은 모델을 얻게 된다.
• RevIN은 학습 및 테스트 분포 간의 이질성을 줄일 수 있지만 모든 형태의 이질성을 완전히 해결하지 못하며 일부 정지된 데이터 세트에서 성능을 해칠 수 있다.
• 관련 연구에서 제안된 일부 확장(예: 다른 도메인에서의 정규화나 슬라이스별 접근법)은 작업에 따라 일관되게 우월하지 않다.

Figure 2: Illustration of the RevIN process on three synthetic examples.