[논문 리뷰] i-RevNet: Deep Invertible Networks

Jörn-Henrik Jacobsen, Arnold Smeulders외 1명|arXiv (Cornell University)|2018. 02. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 59

한 줄 요약

이 논문은 입력 정보를 마지막 분류 층까지 보존하는 완전히 가역적인 심층 네트워크 i-RevNet를 제시하며, 비가역적 아키텍처와 비슷한 ImageNet 성능을 달성하면서 숨겨진 표현으로부터 입력을 정확히 재구성할 수 있게 한다.

ABSTRACT

It is widely believed that the success of deep convolutional networks is based on progressively discarding uninformative variability about the input with respect to the problem at hand. This is supported empirically by the difficulty of recovering images from their hidden representations, in most commonly used network architectures. In this paper we show via a one-to-one mapping that this loss of information is not a necessary condition to learn representations that generalize well on complicated problems, such as ImageNet. Via a cascade of homeomorphic layers, we build the i-RevNet, a network that can be fully inverted up to the final projection onto the classes, i.e. no information is discarded. Building an invertible architecture is difficult, for one, because the local inversion is ill-conditioned, we overcome this by providing an explicit inverse. An analysis of i-RevNets learned representations suggests an alternative explanation for the success of deep networks by a progressive contraction and linear separation with depth. To shed light on the nature of the model learned by the i-RevNet we reconstruct linear interpolations between natural image representations.

연구 동기 및 목표

• 정보 손실이 ImageNet과 같은 대규모 문제에서 일반화되기 위해 필요한지에 대한 동기를 제시한다.
• 최종 분류 계층까지 정보를 버리지 않는 가역적 CNN 아키텍처를 제안한다.
• 정확한 역사상 매핑을 입증하고 수축 및 클래스 분리를 위한 학습 표현을 분석한다.
• ImageNet에서 비가역 RevNet 및 ResNet 기초모형과의 성능 비교를 수행한다.
• 특징 공간에서 재구성 및 보간을 통한 표현의 기하학에 대한 통찰을 제공한다.

제안 방법

• RevNet의 비가역 구성요소를 가역적인 계층으로 대체하는 가역적(동형) 계층의 연쇄로서 i-RevNet을 도입한다.
• 공간 해상도를 채널 폭과 교환하는 두 개의 교차 경로를 생성하는 분할 연산자(splitting operator)와 가역적 다운샘플링 모듈 S_j를 사용한다.
• 명시적 순방향 및 역방향 매핑을 도출한다 (x_j+1 = S_{j+1} x̃_j; x̃_{j+1} = x_j + F_j x̃_j) 및 좌역(left-inverse) 및 역 구성에 대해 논의한다.
• 두 모델을 학습한다: RevNet/ResNet 기초모형과 비슷한 층 수나 매개변수 수를 갖는 주입적 i-RevNet (a)와 전사적(bijective) i-RevNet (b).
• 표준 SGD 학습으로 ImageNet에서 평가하고 ResNet 및 RevNet 기초모형과의 Top-1 정확도 및 매개변수 수를 비교한다.

실험 결과

연구 질문

• RQ1 가역적 CNN이 최종 분류까지 모든 입력 정보를 보존하면서 ImageNet에서 경쟁력 있는 정확도를 유지할 수 있는가?
• RQ2 깊이에 따른 수축 및 선형 분리 가능성의 관점에서 학습된 표현에 가역적 아키텍처가 어떤 영향을 미치는가?
• RQ3 역 매핑이 중간 표현의 구조와 숨겨진 특징으로부터 입력 재구성이 가능한지에 대해 무엇을 보여주는가?
• RQ4 선형 투영(예: PCA)이 가역적 네트워크의 특징 공간에서 판별 가능한 부분공간을 효과적으로 포착하는가?

주요 결과

• i-RevNets는 최종 분류 층까지 완전히 가역적일 수 있어 마지막 층까지 입력 정보를 보존한다.
• 두 모델이 학습되었다: 주입적 i-RevNet (a)와 전단사적 i-RevNet (b)로 각각의 기초모형과 경쟁력 있는 성과를 달성했다.
• ImageNet에서 i-RevNet (a)는 RevNet/ResNet와 비슷한 Top-1 성능을 더 넓은 네트워크(181M 매개변수)로 달성했다.
• i-RevNet (b)는 기초모형과 대략 같은 매개변수 수를 가지지만 RevNet 기초모형에 비해 Top-1 정확도가 1.5%포인트 감소했다.
• 역 Φ^{-1}는 재구성에서 수치적으로 안정적이며, 지역 역이 악조건일지라도 ImageNet에서 상대 역오차가 약 3–5e-6 수준이다.
• 진행적으로 깊이가 깊어질수록 학습된 선형 분류기(예: 선형 SVM)가 분리성과 수축을 향상시켜 낮은 차원의 판별 서브공간(예: 거의 전체 정확도에 충분한 약 200주성분)을 시사한다.