[논문 리뷰] Understanding and Mitigating Exploding Inverses in Invertible Neural Networks

Jens Behrmann, Paul Vicol외 3명|arXiv (Cornell University)|2020. 06. 16.

Model Reduction and Neural Networks참고 문헌 59인용 수 18

한 줄 요약

이 논문은 역가능 신경망(INNs)에서 발생하는 역행렬의 폭발 문제를 규명하고 해결한다. 이는 수치적 역가능성의 상실을 유도하며 정규화 흐름과 메모리 효율적 백프로파게이션과 같은 핵심 응용 분야의 성능을 떨어뜨린다. 저자는 INN 구성 요소의 이중 리프시츠 성질을 유도하고, 局부 역가능성의 안정화를 위한 정규화 기법과 전역 역가능성의 리프시츠 제약 아키텍처를 제안함으로써, 생성 및 판별 과제 전반에서 안정성의 급격한 향상을 이룬다.

ABSTRACT

Invertible neural networks (INNs) have been used to design generative models, implement memory-saving gradient computation, and solve inverse problems. In this work, we show that commonly-used INN architectures suffer from exploding inverses and are thus prone to becoming numerically non-invertible. Across a wide range of INN use-cases, we reveal failures including the non-applicability of the change-of-variables formula on in- and out-of-distribution (OOD) data, incorrect gradients for memory-saving backprop, and the inability to sample from normalizing flow models. We further derive bi-Lipschitz properties of atomic building blocks of common architectures. These insights into the stability of INNs then provide ways forward to remedy these failures. For tasks where local invertibility is sufficient, like memory-saving backprop, we propose a flexible and efficient regularizer. For problems where global invertibility is necessary, such as applying normalizing flows on OOD data, we show the importance of designing stable INN building blocks.

연구 동기 및 목표

• 역가능 신경망(INNs)의 수치적 불안정성, 특히 실무에서 역가능성을 해치는 역행렬 폭발 현상을 조사하는 것.
• 공통적으로 사용되는 INN 구성 요소인 커파링 레이어 등의 이중 리프시츠 성질을 분석함으로써, 역행렬 폭발의 근본 원인을 규명하는 것.
• 메모리 효율적 백프로파게이션과 같은 국소 역가능성이 필요한 응용 분야와 정규화 흐름과 같은 전역 역가능성이 필요한 응용 분야에서의 불안정성 문제를 해결하는 것.
• 다양한 INN 응용 사례에서 안정적인 역행렬 계산을 보장하는 실용적이고 효과적인 정규화 및 아키텍처 제약을 개발하는 것.

제안 방법

• 표준 INN 구성 요소인 애파인 및 애디티브 커파링 레이어 등의 이론적 이중 리프시츠 경계를 유도하여 안정성 특성을 이해하는 것.
• 학습 중 국소 역가능성을 강제하기 위한 유연하고 미분 가능한 정규화 기법을 제안하며, 특히 메모리 효율적 백프로파게이션에 초점을 맞춘다.
• 전역 역가능성을 확보하기 위한 리프시츠 제약 아키텍처를 도입하여 역행렬 자코비안의 특이값이 유계임을 보장하는 것.
• CIFAR-10, CelebA 및 Flow-GAN 벤치마크에서 정규화 기법과 아키텍처 제약의 효과를 실증적으로 검증하는 것.
• 학습 중에 표준 기울기와 메모리 절약 기울기 사이의 각도를 측정하여 역행렬 안정성을 정량화하는 것.
• MLE 및 GAN 목표 함수를 모두 적용하여, 안정성과 성능을 평가하기 위해 가능도(BPD)와 샘플 품질(FID, Inception Score)을 비교하는 것.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 INN 아키텍처는 이론적으로는 역가능성이 있지만, 실무에서는 수치적 역가능성이 유지되지 않는 이유는 무엇인가?
• RQ2 INN 구성 요소의 이중 리프시츠 성질이 역행렬 맵핑의 안정성에 어떤 영향을 미치는가?
• RQ3 메모리 효율적 백프로파게이션과 같은 국소 역가능성 요구 사례에서 정규화가 효과적으로 역행렬 맵핑을 안정화시킬 수 있는가?
• RQ4 특히 정규화 흐름 모델에서 이상치 데이터(OOD)에 대해 전역 역가능성을 확보하기 위해 필요한 아키텍처 제약은 무엇인가?
• RQ5 학습 목표의 선택(MLE 대비 GAN 등)이 INN 역행렬의 수치적 안정성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 애파인 커파링 플로우를 포함한 일반적인 INN 아키텍처는 역행렬 폭발 현상으로 인해 내재된 데이터 및 이상치 데이터 모두에서 재구성 오차, NaN 값, 및 변수변환 공식의 실패를 겪는다.
• 표준 백프로파게이션으로 학습된 애파인 커파링 모델은 표준 기울기와 메모리 절약 기울기 사이의 각도가 급격히 증가하여 수치적으로 역가능성이 상실되며(각도 → NaN), 반면 애디티브 모델은 안정성을 유지한다.
• 유한 차분 또는 정규화 흐름 목표 함수를 통한 정규화는 기울기 간 각도를 작게 유지하여 안정적인 메모리 절약 학습을 가능하게 한다.
• 단순히 GAN 목표 함수만으로 학습된 INN은 불안정한 역행렬을 보이며, 실무에서는 무한한 비트 매 차원(BPD)이 관찰되며, 재구성 오차가 작더라도 그렇다.
• MLE와 GAN 손실을 조합한 Flow-GAN 목표 함수는 안정적인 역행렬(BPD ≈ 4.21)과 향상된 샘플 품질(FID = 420)을 제공하며, 순수 GAN 학습 대비 FID = 850, BPD = ∞를 기록한 것과 비교해 우수한 성능을 보인다.
• 안정적인 조건수와 재구성 오차가 없음에도 불구하고, 단순히 GAN 목표 함수만으로 학습된 모델은 이질적으로 높은 BPD를 부여하여 가능도 추정의 불안정성을 드러낸다.