[논문 리뷰] Invertible DenseNets with Concatenated LipSwish

Yura Perugachi-Diaz, Jakub M. Tomczak외 1명|VU Research Portal|2021. 02. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 10

한 줄 요약

이 논문은 밀도 잔차 블록에 리프시츠 조건을 적용하여 가역성을 보장하는 파rameter 효율적인 플로 기반 생성 모델인 Invertible DenseNets(i-DenseNets)를 제안한다. 학습 가능한 Concatenated LipSwish 활성화 함수와 가중치가 부여된 특징 병합을 도입함으로써, 동일한 파라미터 예산 하에서 CIFAR10과 ImageNet32에서 bits per dimension 측면에서 최신 기준 성능을 달성하며, 밀도 추정 및 하이브리드 분류-생성 모델링 모두에서 Residual Flows 및 기타 플로 기반 모델을 능가한다.

ABSTRACT

We introduce Invertible Dense Networks (i-DenseNets), a more parameter efficient extension of Residual Flows. The method relies on an analysis of the Lipschitz continuity of the concatenation in DenseNets, where we enforce invertibility of the network by satisfying the Lipschitz constant. Furthermore, we propose a learnable weighted concatenation, which not only improves the model performance but also indicates the importance of the concatenated weighted representation. Additionally, we introduce the Concatenated LipSwish as activation function, for which we show how to enforce the Lipschitz condition and which boosts performance. The new architecture, i-DenseNet, out-performs Residual Flow and other flow-based models on density estimation evaluated in bits per dimension, where we utilize an equal parameter budget. Moreover, we show that the proposed model out-performs Residual Flows when trained as a hybrid model where the model is both a generative and a discriminative model.

연구 동기 및 목표

• 잔차 블록 개념을 밀접하게 연결된 레이어로 확장하여 Residual Flows의 더 효율적인 파라미터 대체 방법을 개발하기.
• 병합 연산에 대한 리프시츠 연속성 경계를 유도하여 DenseNets에서 가역성을 강제하기.
• 중요한 특징 표현을 강조하는 학습 가능한 가중치가 부여된 병합 메커니즘을 통해 모델 성능 향상.
• 신호 보존과 모델 성능 향상을 향상시키는 Concatenated LipSwish(CLipSwish) 활성화 함수를 도입하고 통합하기.
• 동일한 파라미터 예산 하에서 순수 밀도 추정 및 하이브리드 분류-생성 모델링 작업 모두에서 i-DenseNets의 성능 평가하기.

제안 방법

• 변환 레이어의 스펙트럴 노름을 1 이하로 제약하여 DenseNet 블록에서 가역성을 확보함으로써 리프시츠 상수가 유계이고 고정점 역행이 가능한 상태로 유지하기.
• 학습 중에 특징의 중요도를 동적으로 할당하는 학습 가능한 가중치가 부여된 병합 메커니즘을 도입하여 표현 학습 향상.
• LipSwish에서 유도된, 더 날카운 리프시츠 경계를 갖는 Concatenated LipSwish(CLipSwish) 활성화 함수를 제안함. 이는 표준 LipSwish보다 더 많은 신호를 보존한다.
• 모든 레이어에 스펙트럴 정규화를 적용하여 리프시츠 조건을 유지함으로써, 반복적 고정점 정리에 따라 전체 네트워크의 가역성을 보장한다.
• 변수의 변화 공식을 적용하여 로그우도를 계산할 수 있도록 하며, 훈련 안정성을 향상시키기 위해 비편향 추정을 통해 앙상블 행렬식을 추정한다.
• 일반적인 로그우도 목적함수와 균일한 디퀀타이제이션을 사용하여 훈련함으로써, 밀도 추정 및 하이브리드 분류 작업 모두를 지원한다.

실험 결과

연구 질문

• RQ1 잔차 네트워크에서의 밀접한 연결성을 플로 기반 모델로 확장하면서도 파라미터 효율성을 유지하면서 가역성을 확보할 수 있는가?
• RQ2 DenseNets에서 병합 연산에 대해 리프시츠 조건을 어떻게 강제할 수 있는가? 이는 가역성을 보장하기 위함이다.
• RQ3 학습 가능한 가중치가 부여된 병합 메커니즘이 플로 기반 모델의 표현 학습과 성능 향상에 기여하는가?
• RQ4 CLipSwish 활성화 함수가 표준 활성화 함수보다 신호 보존과 성능 향상에 기여하는가?
• RQ5 동일한 파라미터 예산 하에서 i-DenseNet은 Residual Flows에 비해 bits per dimension 및 하이브리드 모델링 성능 측면에서 어떻게 비교되는가?

주요 결과

• 동일한 파라미터 예산 하에서 i-DenseNets는 CIFAR10과 ImageNet32에서 bits per dimension 측면에서 최신 기준 성능을 달성하며, Residual Flows 및 기타 플로 기반 모델을 능가한다.
• 제안된 학습 가능한 가중치가 부여된 병합 메커니즘은 모델 성능 향상과 함께 특정 특징 표현의 중요도를 시각화하여 해석 가능성까지 제공한다.
• CLipSwish 활성화 함수는 i-DenseNets와 Residual Flows 양쪽 모두에서 성능을 크게 향상시키며, 일반화 가능성과 효과성을 입증한다.
• 작은 i-DenseNet 아키텍처가 더 큰 아키텍처보다 더 뛰어난 성능을 보이며, 깊이만으로 성능 향상이 이루어지지 않음을 시사하고, 아키텍처의 효율성이 핵심임을 보여준다.
• 하이브리드 모델링 작업에서 λ=1인 i-DenseNets는 Residual Flows 및 그 동료 모델보다 높은 분류 정확도와 더 나은 밀도 추정 성능을 기록한다.
• 모델는 강력한 일반화 능력을 보이며, 높은 해상도 데이터(계산 가능할 경우)를 포함한 여러 데이터셋 및 설정에서 성능 향상이 관찰된다.